Attività di rilievo

WP3- Task 3.2

Rilievo laser 3D

In funzione dell’attività di rilievo geometrico, della georeferenziazione della nuvola di punti e della pianificazione dei futuri monitoraggi, sono stati posizionati n. 10 target fissi (prismi ottici) all’interno del cortile del Palazzo Ducale. La loro collocazione è avvenuta secondo uno schema predefinito durante i sopralluoghi e descritto nei precedenti report, con l’obiettivo di garantire riferimenti stabili per tutte le future campagne di scansione.

Il rilievo è stato eseguito mediante tecnologia laser scanner terrestre (TLS), prevedendo una prima fase di acquisizione topografica dei target tramite stazione totale centralizzata, seguita da una campagna di 11 scansioni distribuite come segue:

• n. 5 scansioni su due livelli del prospetto interno (lato cortile), posizionate per ridurre i coni d’ombra e coprire gli elementi decorativi di maggiore rilievo;

• n. 3 scansioni sul prospetto esterno (lato canale), con posizionamento condizionato dalla logistica di accesso e dalla mancanza di autorizzazione per target fissi;

• n. 3 scansioni intermedie lungo il percorso che porta all’accesso acqueo, al fine di connettere spazialmente le due facciate tramite punti comuni.

L’orientamento e l’allineamento delle scansioni è stato effettuato in ambiente di pre-processing tramite software proprietario dello strumento (Leica Cyclone), applicando una registrazione a target e cloud-to-cloud. La pianificazione condivisa con i professionisti coinvolti ha permesso di contenere l’intervento in loco entro 3 ore complessive, con l’impiego di 2 operatori, minimizzando impatto e interferenze con le attività museali.

Rilievo fotogrammetrico e termografico con drone

A seguito della pianificazione delle attività di rilievo aereo, sono stati avviati i necessari iter autorizzativi in collaborazione con tecnici specializzati nel settore UAS, tenendo conto delle caratteristiche operative del mezzo, del payload e dell’area urbana di interesse.

Durante la fase istruttoria è emersa una prima criticità operativa: il sorvolo del tratto d’acqua (Rio di Palazzo / Rio della Canonica) non è stato autorizzato da parte della prefettura, se non previa attivazione di un blocco temporaneo del traffico acqueo. Tale ipotesi non è stata ritenuta percorribile per la fase corrente, poiché comporterebbe un’interferenza operativa significativa, non coerente con gli obiettivi di progetto.

In seguito a un confronto con i tecnici UAS e alla luce degli obiettivi progettuali, si è optato per una strategia alternativa in grado di garantire la sicurezza in volo e ridurre l’impatto logistico:

• Adozione di un sistema di sicurezza con paracadute certificato EASA da integrare al drone in fase operativa. Questo equipaggiamento aggiuntivo permette di ottemperare agli standard di volo in ambiente critico, riducendo il rischio residuo anche in caso di malfunzionamento.

Parallelamente, nel mese di febbraio 2025, è stato introdotto sul mercato un nuovo drone dotato di architettura hardware compatibile con l’implementazione diretta di modelli AI personalizzati all’interno del flight controller (DJI Matrice 4T). Alla luce di questa innovazione, si è scelto di reindirizzare le risorse economiche su un’attrezzatura più avanzata, in grado di elevare significativamente le capacità del progetto:

• Possibilità di elaborazione AI in tempo reale durante la fase di volo, senza dover attendere la post-elaborazione dei dati;

• Espandibilità del sistema UAS per attività future di ispezione automatizzata.

La nuova richiesta di autorizzazione ha incluso i dettagli tecnici del drone, del sistema di paracadute e del payload ottico previsto per la fotogrammetria e la termografia.

Attività di elaborazione del rilievo

WP3- Task 3.2

La nuvola di punti ottenuta mediante laser scanner terrestre è stata sottoposta a una prima fase di elaborazione in ambiente software per l’analisi della qualità, la pulizia dei dati e l’allineamento spaziale. Tale elaborazione ha previsto:

• Filtraggio dei rumori e delle riflessioni spurie, soprattutto nelle aree con presenza di superfici vetrate;

• Registrazione tra le scansioni tramite metodo ibrido (a target e cloud-to-cloud), con verifica dei residui di allineamento inferiori ai 3 mm;

• Georeferenziazione della nuvola attraverso l’uso dei target topografici acquisiti in stazione totale, con allineamento al sistema di riferimento cartografico ufficiale.

Il confronto con i rilievi archiviati dal MUVE ha evidenziato:

• Un incremento significativo nella risoluzione e nel dettaglio morfologico delle superfici scolpite e decorate;

• La presenza di scostamenti altimetrici e planimetrici, sintomo di potenziali errori nei rilievi precedenti.

Tuttavia, l’analisi tridimensionale ha evidenziato delle lacune di copertura, in particolare sulla facciata esterna lato canale. I coni d’ombra dovuti alla posizione bassa dello scanner da terra hanno generato vuoti informativi in quota e in zone aggettanti.

Per completare la nuvola e ottenere un modello tridimensionale completo, è stata programmata l’integrazione con una nuvola di punti generata da fotogrammetria aerea, che coprirà le porzioni attualmente in ombra.

Attività di monitoraggio su fune

WP3- Task 3.2

Il monitoraggio diretto delle superfici oggetto di studio mediante tecnica su fune è stato effettuato previa autorizzazione della Soprintendenza competente, seguendo scrupolosamente quanto previsto dalla pianificazione operativa già approvata. L’attività non ha subito variazioni sostanziali e si è svolta in piena conformità al piano di sicurezza e coordinamento.

Le operazioni si sono articolate come segue:

• Installazione di linee vita temporanee e punti di ancoraggio certificati, predisposti secondo lo schema predefinito e progettati per garantire la massima sicurezza operativa su superfici verticali storiche;

• Esecuzione di n. 18 calate verticali controllate, ripartite sulle due facciate (cortile interno e lato canale), con l’impiego di 3 operatori specializzati in tecniche di accesso e posizionamento mediante funi, con qualificazione di restauratore o tecnico del restautp;

• Durata complessiva dell’attività: 5 giornate operative.

Le superfici sono state sottoposte a un’analisi visiva ravvicinata, integrata con rilievi fotografici ad alta risoluzione, secondo anche le necessità fornite dal MUVE. Gli obiettivi principali del monitoraggio sono stati:

• Identificazione delle principali forme di alterazione e degrado (croste nere, patine biologiche, fessurazioni, disgregazione superficiale..ecc);

• Individuazione di dissesti strutturali locali, in particolare sul prospetto lato canale;

• Rilevamento di punti di infiltrazione idrica, verificando le connessioni tra degrado esterno e apparati decorativi interni.

Le anomalie riscontrate, tra cui infiltrazioni localizzate in corrispondenza dei due canali di gronda inferiori, sono state oggetto di approfondimento con i tecnici del MUVE, che hanno pianificato interventi puntuali di mitigazione.

Anche in questo caso, la pianificazione condivisa ha permesso di minimizzare interferenze con le attività museali e garantire un uso efficiente delle risorse, ottimizzando tempi e personale.

Attività di elaborazione delle mappature

WP1- Task 3.2

A seguito delle operazioni di monitoraggio diretto su fune, eseguite con restauratori specializzati, si è proceduto con l’aggiornamento e digitalizzazione delle mappature dello stato di conservazione delle superfici analizzate, comparando i dati rilevati con le mappe storiche disponibili.

Dall’analisi comparativa è emerso quanto segue:

• Nella porzione di facciata interna, soggetta a monitoraggio nel 2014 e a successivi interventi localizzati di messa in sicurezza, lo stato conservativo si presenta stabile, con fenomeni di degrado contenuti e ben localizzati;

• Al contrario, la facciata esterna lato canale, non monitorata precedentemente e interessata solo da un intervento di restauro risalente a oltre 15 anni fa, presenta fenomeni diffusi di degrado (croste nere, erosioni superficiali, infiltrazioni…) non documentati prima d’ora.

Le attività di elaborazione sono state svolte secondo un protocollo metodologico condiviso, con le seguenti operazioni:

• Digitalizzazione CAD delle nuove mappature su base geometrica aggiornata;

• Organizzazione e archiviazione della documentazione fotografica e video, con classificazione per tipo di degrado e criticità rilevata );

• Redazione di una relazione tecnica di monitoraggio, che sintetizza i risultati, segnala le criticità e suggerisce eventuali interventi preventivi.

Da questa fase emergono due aspetti chiave che giustificano e orientano lo sviluppo del modello AI attualmente in corso:

1. Elevata quantità di immagini: il monitoraggio ha generato oltre 2.000 fotografie per un’area di circa 1.000 mq. L’analisi e l’etichettatura manuale di tali dati richiede un impegno considerevole, che potrebbe essere drasticamente ridotto mediante un sistema di classificazione automatica per degrado.

2. Integrazione della mappatura: La mappatura effettuata dagli operatori su fune necessita, in fase di elaborazione, di un’integrazione mediante l’analisi diretta della documentazione fotografica da parte del restauratore. Questo processo, attualmente manuale e basato sull’esperienza dell’operatore, potrebbe essere significativamente ottimizzato grazie all’impiego del modello AI, che consentirebbe l’identificazione automatica e la localizzazione precisa delle forme di degrado direttamente sulle immagini acquisite.

Attività archiviazione su piattaforma BIM

WP1- Task 2.1

Come previsto dal piano di progetto, l’elaborazione dei rilievi aggiornati e delle nuove mappature è stata destinata alla condivisione e archiviazione su piattaforma BIM, al fine di garantire tracciabilità, interoperabilità e coerenza con gli standard digitali applicabili al restauro architettonico.

È stata selezionata la piattaforma usBIM di ACCA Software, in quanto compatibile con ambienti collaborativi cloud-based e strumenti già in uso dai professionisti coinvolti (es. usBIM.cad, usBIM.federation, usBIM.checker, ecc.). Le motivazioni alla base di questa scelta includono:

• Modularità e scalabilità del sistema;

• Gestione documentale avanzata con versionamento;

• Compatibilità con formati aperti (IFC, E57, OBJ, PDF/A, ecc.);

• Interoperabilità diretta con software per la progettazione e la direzione lavori (CME, PriMus, CerTus, Edificius, ecc.);

• Ambiente completamente cloud, accessibile da più team in tempo reale.

All’interno del sistema è stato creato un progetto dedicato denominato “M4P0 – Palazzo Ducale”, con la seguente organizzazione dei contenuti:

Dati caricati nella piattaforma usBIM:

• Nuvola di punti georeferenziata in formato .E57 (Versione provvisoria in attesa dell’unione con la nuvola derivante da fotogrammetria)

• Elaborati CAD (formato .DWG e .DXF): Planimetrie e prospetti aggiornati sulla base del rilievo laser.

• Mappature di degrado: file preesistenti forniti da MUVE (formato vettoriale e raster) e nuove mappature digitalizzate post-monitoraggio.

• Relazioni tecniche e report PDF: Inclusi i documenti di monitoraggio su fune, verbali operativi e analisi comparativa.

• Documentazione fotografica e video: Archiviata in formato JPG/MP4 ad alta risoluzione, suddivisa per tipologia di degrado e localizzazione.

Successive operazioni previste:

• Verifica del modello: controlli preliminari di coerenza tra layers, quote e sovrapposizioni tramite usBIM.checker;

• Implementazione con registro Blockchain: Sviluppo del registro Blockchain per ogni file archiviato su piattaforma BIM tramite usBIM.blockchain

• Pianificazione degli interventi: test su usBIM.project per la simulazione di scenari di conservazione programmata.

Attività di sviluppo modello AI

WP1- Task 3.2

Lo sviluppo del modello di intelligenza artificiale per il rilevamento delle forme di degrado si è articolato in una prima fase di annotazione e test su dataset personalizzato, derivato da immagini di archivio:

Dataset e Annotazione

Il dataset ad oggi comprende oltre 1.000 immagini , annotate manualmente utilizzando due approcci complementari:

• YOLOv8 (You Only Look Once, versione 8): per la classificazione e localizzazione con bounding box, utile per identificare rapidamente la presenza di fenomeni su grandi quantità di immagini;

• SAM (Segment Anything Model, Meta AI): per la segmentazione semantica e istanza-based, applicata al perimetro preciso delle aree alterate.

Entrambi i modelli sono stati testati in parallelo, con lo scopo di valutare le rispettive potenzialità nel contesto del restauro. L’annotazione è avvenuta mediante la piattaforma identificata in fase di programmazione (Civat.ai), con validazione incrociata da parte di restauratori esperti.

Criticità e strategie correttive

Durante i primi test si sono evidenziate alcune criticità, accompagnate da ipotesi di soluzione già in fase di implementazione:

• C01 – Scarsa discriminazione tra croste nere e patine biologiche:

Causa: somiglianza cromatica, basso contrasto, annotazione non sufficientemente diversificata.

Soluzione: riorganizzazione del dataset in una gerarchia multilivello di etichette, mantenendo “macchie” come classe madre, e spostando croste e patine in sottoclassi semantiche. Si prevede un incremento della capacità discriminativa del modello mediante approccio focal loss e weighted sampling.

• C02 – Confusione tra zone d’ombra e degrado:

Causa: mancata annotazione esplicita delle ombre, che vengono apprese dal modello come macchie.

Soluzione: introduzione di una classe “ombra” nel dataset, trattata come elemento di esclusione nella logica di inferenza. È prevista anche l’integrazione di filtri pre-analisi basati su valori di luminanza e orientamento.

• C03 – Delimitazione imprecisa dei fenomeni più leggeri (SAM):

Causa: i fenomeni caratterizzati da bassa densità materica o variazione cromatica lieve (es. patine leggere, inizio formazione croste) non vengono correttamente segmentati dal modello SAM, che tende a generare maschere eccessivamente frammentate o non perfettamente aderenti al contorno reale.

Soluzione: incremento della qualità dell’annotazione tramite prompting guidato (selezione manuale di punti chiave per aiutare la segmentazione), raffinamento delle maschere in post-processing con filtri morfologici (closing, erosion), e possibile addestramento fine-tuned del modello SAM su dataset altamente curato di fenomeni leggeri.

Output e interfaccia utente

Al fine di testare il modello in abiente condiviso è stata sviluppata un’interfaccia user-friendly tramite Streamlit, che consente:

• Upload e analisi automatica delle immagini;

• Visualizzazione dei risultati (box o maschere);

• Download delle immagini annotate;

• Esportazione di una checklist in formato .txt con il riepilogo del degrado rilevato;

• Supporto all’integrazione futura con la piattaforma BIM (es. mappatura automatica su ortofoto e fotopiani).

Tale applicazione consente di testare progressivamente il comportamento del modello anche da parte dei restauratori non esperti in AI, fornendo un feedback continuo per l’affinamento del sistema.

Di seguito si riporta un video esemplificativo del test del modello:

Attività di sviluppo del protocollo

WP1- Task 3.1

Le attività finora condotte nel progetto M4P0 – dalla raccolta e analisi dei dati diagnostici all’impiego di tecnologie digitali per il rilievo e la documentazione – hanno costituito la base operativa per la redazione preliminare di una bozza del protocollo operativo per il monitoraggio e la conservazione programmata di edifici storici in ambienti complessi.

Il protocollo si fonda su tre assi portanti:

1. Conformità normativa: recepimento delle disposizioni nazionali e regionali in materia di beni culturali, sicurezza nei cantieri, accesso in quota, gestione dei dati digitali;

2. Adozione di buone pratiche tecniche: ispirate alle linee guida e alle esperienze consolidate nel restauro dei beni monumentali, adattate al contesto complesso come quello lagunare veneziano;

3. Struttura adatta all’appalto pubblico: redatta con taglio da capitolato tecnico, per garantire la possibile adozione del protocollo anche in contesti di affidamento e gestione di servizi da parte di enti pubblici.

L’impostazione del protocollo prevede:

• Articolazione in sezioni tecniche, ciascuna corrispondente a una fase operativa (rilievo, monitoraggio, digitalizzazione, archiviazione, modellazione BIM, diagnosi, AI assistita);

• Integrazione di schede operative standard (SOP), con check-list e descrizione delle tecnologie e dei DPI da impiegare;

• Definizione dei ruoli professionali coinvolti, delle responsabilità e delle interazioni tra restauratori, tecnici UAS, operatori BIM, sviluppatori AI, progettisti e stazioni appaltanti;

• Compatibilità con piattaforme digitali collaborative, in particolare con usBIM per la gestione dei dati e con applicazioni AI come quella sviluppata all’interno del progetto;

• Sezione finale dedicata alla sostenibilità, con indicazioni per ridurre l’impatto delle attività operative e digitali.

Il protocollo è stato strutturato in modo da poter essere adottato anche in contesti differenti da Palazzo Ducale, fungendo da modello replicabile per la gestione intelligente e sostenibile del patrimonio architettonico storico.

Voce	Contenuto sintetico
Titolo del documento	Protocollo operativo per il monitoraggio e la conservazione programmata degli edifici storici
Progetto di riferimento	M4P0 – Spoke 4 (INEST – Interconnected Nord-Est Innovation Ecosystem)
Struttura del documento	11 Articoli + Allegati finali (Glossario, Schede, Clausole)
Articoli principali	1 – Oggetto e finalità 2 – Ambito di applicazione 3 – Figure professionali 4 – Fasi operative del protocollo 5 – Output attesi 6 – Riferimenti normativi e tecnici 7 – Misure di sicurezza e accessibilità 8 – Gestione, interoperabilità e conservazione dei dati 9 – Verifica e validazione 10 – Allegati, glossario e clausole integrative 11 – Obblighi e responsabilità
Fasi operative (Art. 4)	4.1 – Preparazione e raccolta documentale 4.2 – Pianificazione operativa e accessibilità 4.3 – Ispezione visiva diretta 4.4 – Rilievi geometrici, visivi e multispettrali 4.5 – Gestione e modellazione dei dati digitali 4.6 – Analisi e sintesi tecnica dei dati 4.7 – Redazione del piano di conservazione programmata
Tecnologie integrate	– Rilievo fotogrammetrico e GIS – Modellazione BIM/HBIM – Ambiente collaborativo digitale (CDE) – Intelligenza Artificiale (modello M4P0) – Certificazione dati via blockchain (usBIM.blockchain)
Normative e standard di riferimento	D.Lgs. 42/2004, D.Lgs. 36/2023, D.Lgs. 81/2008 UNI EN 16096:2020, UNI 11182:2006, UNI 11337, ISO 19650 Linee guida MiC, AgID, FAIR Principles
Output previsti	– Modelli IFC e GIS – Mappature tematiche – Report tecnico finale – Piano pluriennale di conservazione – Documenti certificati (PDF/A, XML, CSV, etc.)
Destinatari del protocollo	PA, enti gestori, progettisti, restauratori, DL, software house, istituzioni culturali e centri di ricerca

Di seguito si allega in formato .docx la bozza completa per la condivisione con il comitato tecnico scientifico di progetto.