Sviluppo piattaforma web divulgativa

WP1 – Task 1.2

Al fine di garantire una comunicazione trasparente degli stati di avanzamento di progetto, è stata realizzata una piattaforma web divulgativa (m4p0.it).

L’accesso alla piattaforma è consentito ai soli utenti registrati previa attivazione dell’account da parte dell’amministratore.

La piattaforma è destinata sia al comitato scientifico Inest che agli enti, imprese e professionisti coinvolti nel progetto. I contenuti saranno filtrati secondo due livelli ( Full e Basic ), assegnati in base alla tipologia di utente.

La divulgazione dei progressi per gli utenti con account Full avviene con report periodici sotto forma di articolo testuale corredato da elementi multimediali e documenti disponibili per il download. Gli utenti con account Basic invece potranno seguire lo sviluppo del progetto attraverso delle slide riassuntive.

La piattaforma web è stata realizzata in linea con le disposizioni GDPR e “Linee guida per le azioni di informazione e comunicazione”.

Identificazione area studio

WP3- Task 3.2

A seguito dell’incontro svolto tra il coordinatore del progetto Rest. Dott. Arch Fabrizio Benvenuti e l’ufficio tecnico della FMCV, (Arch. Rest. Arianna Abbate / Arch. Monica Rosina) sono state individuate e stabilite le aree di Palazzo Ducale (Venezia) oggetto studio del progetto:

Le attività di monitoraggio verranno eseguite su due porzioni di facciata rispettivamente sul prospetto est prospiciente Rio di Palazzo, e sul corrispondente prospetto est del cortile interno (a destra della Scala dei Giganti) per un totale di circa 1000 mq di superficie.

La scelta delle aree è stata ponderata e motivata secondo i seguenti criteri:

• Entrambe le superfici non sono state interessate dai recenti interventi di restauro.
• La facciata est sul canale rispecchia le criticità di rilievo e ispezione nel contesto veneziano senza l’utilizzo di impalcati.
• La facciata sul cortile è già stata oggetto di monitoraggio nel 2013, perciò essenziale per un confronto con il nuovo monitoraggio.

Pianificazione delle attività di acquisizione dati

WP3- Task 3.2

Il primo passo per la definizione e redazione del protocollo esplicativo delle fasi operative, delle metodologie, delle strumentazioni e conoscenze impiegate nell’attività di monitoraggio, è la pianificazione dei processi di acquisizione dei dati.

Di seguito si riporta una tabella riassuntiva elaborata sulla base dell’esperienza pregressa in tale attività ed in funzione agli obbiettivi di progetto:

codice	processo	obbiettivi	strumentazione	operatori
a.1	Acquisizione di documentazione pregressa (rilievi,mappature ecc..)	Verfica dello stato di fatto documentale e degli ultimi interventi / monitoraggi	nessuna strumentazione specifica necessaria	1 tecnico (Co. New Tech. srl)
a.2	Sopralluogo esplorativo	Pianificazione dettagliata delle attività	nessuna strumentazione specifica necessaria	1 tecnico + 1 operatore su fune (Co. New Tech. srl)
a.3	Posizionamento di target fissi di rilievo	Georeferenzazione dei rilievi	Target: prismi	1 tecnico (Co. New Tech. srl) + 1 tecnico (Studio Guzzo srl)
a.4	Rilievo laser scanner da terra dove possibile.	Modelli 3D e DEM del manufatto	Laser scanner Leica + Stazione totale Leica + GPS	1 tecnico (Co. New Tech. srl) + 1 tecnico (Studio Guzzo srl)
a.5	Rilievo laser scanner con drone per le aree non raggiungibili da terra.	Modelli 3D e DEM del manufatto	Drone Dji Matrice 350 rtk + modulo lidar Zenmuse L2	1 tecnico abilitato + 1 tecnico di supporto (Co. New Tech. srl)
a.6	Rilievo fotogrammetrico con drone.	Fotopiano del manufatto	Drone Dji Mavic 3 Enterprise Thermal	1 tecnico abilitato + 1 tecnico di supporto (Co. New Tech. srl)
a.7	Indagine termografica con drone.	Verifica delle dispersioni termiche e della struttura dell’apparato murario e delle superfici decorate	Drone Dji Mavic 3 Enterprise Thermal	1 tecnico abilitato + 1 tecnico di supporto (Co. New Tech. srl)
a.8	Ispezione ravvicinata foto/video con drone.	Individuazione delle criticità per la salvaguardia della pubblica incolumità	Drone Dji Mavic 3 Enterprise Thermal	1 tecnico abilitato + 1 tecnico di supporto (Co. New Tech. srl)
a.9	Verifica tattile e visiva con restauratori su fune.	Individuazione delle criticità per la salvaguardia della pubblica incolumità	Actioncam Insta360	1 Resautore su fune (Co. New Tech. srl) + 1 Restauratore su fune (Extreme Work s.a.s.)
a.10	Indagini diagnostiche con restauratori su fune.	Verifica della struttura dell’apparato murario e delle superfici decorate	Georadar, Pacometro	1 Resautore su fune (Co. New Tech. srl) + 1 Restauratore su fune (Extreme Work s.a.s.) + 1 tecnico strumentazione

E’ stato inoltre ipotizzato un primo Gantt delle attività da sottoporre alla FMCV e adeguare secondo le attività museali.

Esecuzione attività di acquisizione dati

WP3- Task 3.2

a.1 – Acquisizione documentazione pregressa

E’ in corso l’attività di acquisizione e verifica della documentazione relativa ai monitoraggi e interventi pregressi limitata strettamente alle aree studio, recuperata dall’archivio personale Co. New Tech. ed integrata dagli archivi del Comune di Venezia e FMCV.

Di seguito si riporta la documentazione acquisita:

• Monitoraggio e messa in sicurezza delle facciate di Palazzo Ducale
  • Relazione tecnica finale (.pdf)
  • Mappatura delle aree di criticità (Prospetto cortile est) (.pdf)
  • Documentazione fotografica di riferimento (.jpeg)
• Rilievi Palazzo Ducale
  • Planimetrie palazzo e cortile (.dwg)
  • Prospetto est Rio di Palazzo (.dwg)
  • Prospetto est cortile (.dwg)

a.2 – Sopralluogo esplorativo

E’ stato effettuato un primo sopralluogo esplorativo al fine di stabilire il posizionamento dei prismi (target) sulla superficie del palazzo in funzione dell’attività di scansione laser e dunque della georeferenzazione e unione delle scansioni:

E’ stata programmata la messa in opera di n.10 mini-prisma Leica GMP104 fissati all’interno dei tondi in corrispondenza delle chiavi di volta degli archi ed orientati verso la stazione totale che verrà posizionata al centro del cortile in fase di registrazione.

Pianificazione attività di sviluppo modello AI

WP3- Task 3.2

Tra le attività che interessano i processi di elaborazione dei dati il progetto prevede l’utilizzo dell’intelligenza artificiale come supporto al restauratore per la lettura automatizzata delle forme di alterazione e degrado.

Il processo che prevede lo sviluppo di un modello AI mediante addestramento con datasets specifici, è stato pianificato sia secondo degli standard operativi sia secondo le esigenze legate agli obbiettivi di progetto:

Individuazione della piattaforma

A seguito di alcuni test eseguiti su più piattaforme di sviluppo, è stata individuata e valutata CVAT.AI come strumento più adeguato al nostro flusso di lavoro nell’addestramento del modello AI.

La scelta è stata ponderata e motivata secondo i seguenti criteri:

• Interfaccia “user friendly” intuitiva che non necessita la conoscenza di specifici linguaggi di programmazione.
• Vasta gamma di sistema di annotazione (rettangolo, poligono, polilinea, tag.. ecc..).
• Pre-annotazione automatica grazie all’utilizzo di modelli integrati.
• Possibilità di lavorare da remoto nella versione online.
• Possibilità di collegare il proprio archivio foto cloud direttamente alla piattaforma.

Individuazione dei modelli DP (deep learning)

La piattaforma indicata permette di velocizzare i processi di creazione di datasets e dunque di segmentazione delle immagini grazie all’utilizzo di modelli integrati di annotazione.

Sono stati individuati due sistemi coerenti con la mappatura di una facciata di un edificio, i quali verranno testati per verificarne l’efficacia ai fini di progetto:

• YOLO (You Only Look Once): per l’annotazione mediante riquadri di delimitazione (bounding boxes) e etichette di classe. Sistema piu rapido sia in fase di annotazione che rilevamento.
• SAM (Segment Anything Model): per l’annotazione mediante maschere di segmentazione e etichette di classe. Richiede  più tempo in fase di annotazione, ma restituisce risultati più dettagliati in scene complesse.

Definizione struttura dei datasets

Secondo gli standard previsti per l’addestramento di un modello sono stati definiti i datasets indicandone la quantità di documentazione necessaria, gli archivi di acquisizione, i sistemi di annotazione e i tag riferiti alle forme di degrado.

Al fine di incrementare la qualità di addestramento si dovrà eseguire una selezione eterogenea delle immagini (diverse inquadrature, diversa luce …).

Di seguito si riporta una tabella riassuntiva :

n. di immagini (quantità)*	archivio (provenienza)	materiale (superficie)	tag (forme di degrado)	modello (sistema annotazione)
1000	Palazzo Pisani; Complesso delle Zitelle (Palladio – Villa F); Musei civici veneziani; Chiesa di San Stae; Palazzo Correr	lapideo	macchie/croste nere/patine	SAM
500	Palazzo Pisani; Complesso delle Zitelle (Palladio – Villa F); Musei civici veneziani; Chiesa di San Stae; Palazzo Correr	lapideo	lesioni	YOLO; SAM
500	Palazzo Pisani; Complesso delle Zitelle (Palladio – Villa F); Musei civici veneziani; Chiesa di San Stae; Palazzo Correr	lapideo	mancanze	YOLO; SAM
500	Palazzo Pisani; Complesso delle Zitelle (Palladio – Villa F); Musei civici veneziani; Chiesa di San Stae; Palazzo Correr	lapideo	macroflora	YOLO; SAM

* La quantità è intesa come minima necessaria.

Workflow annotazione e addestramento

La pianificazione del modello ha previsto la definizione dei processi di annotazione e addestramento secondo un workflow ben definito:

• 1. Creazione del progetto (modello)
  • 1.1. Definire nuovo progetto, specificando il nome e la descrizione.
  • 1.2. Impostare le etichette (classi di oggetti) che saranno utilizzate per l’annotazione
• 2. Creazione dei task
  • 2.1. Creare nuovi task associati al progetto, specificando un subset di immagini da annotare.
  • 2.2.Configurare i parametri del task, come il livello di difficoltà, il tipo di annotazione (bounding box, poligoni, ecc…), e gli annotatori assegnati..
• 3. Selezione e caricamento dei dati
  • 3.1. Selezionare le immagini da annotare secondo i criteri indicati nei task.
  • 3.2. Caricare le immagini da annotare nel progetto o collegare al cloud.
• 4. Annotazione dei dati
  • 4.1. Annotare i dati mediante l’utilizzo dei due sistemi DP scelti (YOLO; SAM)
• 5. Revisione e valutazione
  • 5.1. Eseguire una revisione delle annotazioni per assicurarsi che siano accurate e complete.
  • 5.2. Utilizzare strumenti di revisione integrati per approvare o richiedere modifiche alle annotazioni.
• 6. Esportazione delle annotazioni
  • 6.1. Esportare le annotazioni nel formato richiesto dal modello di addestramento (SAM esportare in COCO; YOLO esportare in TXT).
• 7. Addestramento del modello
  • 7.1. Utilizzare i dati annotati per addestrare il modello di visione artificiale. Caricare le annotazioni esportate nel framework di addestramento scelto (es. MMDetection per SAM e  Darknet per YOLO).
  • 7.2. Configurare i parametri di addestramento (es. tasso di apprendimento, numero di passaggi ecc..)
• 8. Valutazione del modello
  • 8.1 Valutare le prestazioni del modello addestrato con un dataset di test.
  • 8.2 Migliorare le annotazioni se necessario.
• 9. Deployment del modello
  • 9.1 Utilizzare il modello in applicazione reale.
  • 9.2 Monitorare le prestazioni del modello e raccogliere feedback per ulteriori miglioramenti.

Di seguito si riporta il Gantt di riferimento:

Esecuzione attività di sviluppo modello AI

WP1- Task 3.2

Secondo il Gantt sopra riportato sono state avviate le seguenti attività 1.1; 1.2; 2.1; 2,2 :

• E’ stato creato e definito un nuovo progetto: M4p0.ai

• Sono state impostate le etichette: macchie Y; macchie S; mancanze Y; mancanze S; lesioni Y; lesioni S; macroflora Y; macroflora S. (i suffissi Y e S indicano l’utilizzo dell’etichetta con sistemi YOLO o SAM.

Task 2	Annotazione SAM
Info	Questo task è dedicato all’annotazione delle forme di degrado utilizzando poligoni o polilinee, in modo da ottenere segmentazioni più precise.
Label	Le label da utilizzare sono: macchie, mancanze, lesioni, macroflora.