Tutorial #03 : mascherare le immagini con lo strumento Masquerade
Utilizzo degli strumenti di mascheratura
Benvenuti nella serie di tutorial dedicati a 3DF Zephyr . Questo tutorial illustra come creare automaticamente maschere in 3DF Zephyr e utilizzare gli strumenti di 3DF Masquerade per la mascheratura manuale delle immagini. Lo strumento è disponibile in tutte le versioni di 3DF Zephyr.
Sommario
Introduzione
3DF Masquerade è uno strumento esterno standalone incluso in tutte le versioni di 3DF Zephyr. È progettato principalmente per la mascheratura delle immagini in scenari di fotogrammetria con tavolo rotante.
Le azioni di mascheratura eseguite dall’utente in Masquerade possono indicare a Zephyr di ignorare completamente determinate aree delle immagini durante il flusso di lavoro per la creazione di un nuovo progetto. Questo significa:
- – Zephyr non utilizzerà le aree mascherate per cercare dettagli o creare corrispondenze tra le immagini.
- – Zephyr non utilizzerà le aree mascherate per calcolare la nuvola di punti densa o la mesh dall’immagine rispettiva.
Questo è particolarmente utile in caso di rumore di fondo significativo o quando il soggetto si muove in modo incoerente rispetto allo sfondo. Uno scenario comune si verifica quando un soggetto viene acquisito su un tavolo rotante: mentre l’oggetto ruota e lo sfondo rimane fisso, Zephyr potrebbe tentare di allineare le camere con lo sfondo invece che con il soggetto, se lo sfondo contiene abbastanza dettagli. La soluzione consigliata è mascherare lo sfondo utilizzando 3DF Masquerade prima di elaborare le immagini.
Il dataset fornito di seguito può essere utilizzato per seguire questo tutorial.
 | Scarica Dataset – Dismal Souvenir (284MB) |
Avviare 3DF Masquerade
3DF Masquerade può essere avviato come eseguibile esterno e utilizzato indipendentemente da 3DF Zephyr. Ecco i metodi disponibili:
- Dall’area di lavoro di 3DF Zephyr:
- Dal Wizard per la creazione di un Nuovo Progetto:
– Tramite la barra dei menu: su Utilities > Lancia Masquerade.
– Tramite la barra degli strumenti: cliccando sull’icona di Masquerade.
Nella prima pagina del Wizard di creazione del Nuovo Progetto, deve essere selezionata la casella “Imposta mascheratura” (1). Cliccando sul pulsante “Successivo”, si passa alla fase di selezione delle foto, dove le immagini e le maschere possono essere caricate automaticamente. Cliccando nuovamente su “Successivo”, si accede alla Fase di mascheratura, dove selezionando la casella Manuale (2), il pulsante “Lancia Masquerade” (3) verrà abilitato.
Le immagini possono essere caricate in Masquerade tramite il menu: File > Carica immagine.
In alternativa, è possibile trascinare e rilasciare la prima immagine nell’area di lavoro per caricare tutte le immagini presenti in una cartella.
L’interfaccia di 3DF Masquerade
L’interfaccia di 3DF Masquerade è divisa nelle seguenti sezioni:
Area di mascheratura (1) – permette di visualizzare ogni immagine e lavorare con gli strumenti di mascheratura.
Ultimi comandi (2) – la tabella può essere utilizzata per annullare/rifare le azioni eseguite in 3DF Masquerade
- Seleziona tutto: Seleziona tutte le immagini elencate e le relative maschere.
- Mostra in Esplorer: Apre la cartella contenente l’immagine selezionata e la evidenzia.
- Cancella maschera per questa immagine: Rimuove permanentemente la maschera associata all’immagine selezionata dalla cartella.
Barra degli strumenti superiore (4) – fornisce un accesso rapido ai comandi principali di salvataggio e per la gestione delle maschere.
Barra degli strumenti (5) – contiene diversi strumenti per applicare o rimuovere le maschere dalle immagini.
Navigazione Cartella (3) – Questo pannello facilita la navigazione rapida tra le immagini, che verranno associate alle maschere create e contrassegnate con il simbolo “(M)”. Cliccando con il tasto destro all’interno del pannello si accede ai seguenti comandi:
Nota: Utilizzare il comando Seleziona tutto e poi il comando “Cancella maschera per questa immagine” comporterà l’eliminazione permanente di tutte le maschere nel progetto corrente.
 | Carica immagine: il comando consente di selezionare un’immagine e caricare tutte le immagini all’interno di Masquerade. |
 | Salva: questo comando consente di salvare la maschera appena modificata. |
 | Salva e vai alla prossima immagine: questo comando consente di salvare la maschera modificata e di passare automaticamente all’immagine successiva. |
| Annulla / Ripristina: questi comandi consentono di annullare o ripristinare le azioni eseguite. |
| Ruota in senso orario / antiorario: questo comando consente di ruotare l’immagine. |
 | Maschera B/N: questo comando consente di visualizzare la maschera di ciascuna immagine in bianco e nero. |
 | Cancella maschera e i pennelli: il comando consente di cancellare la maschera corrente dell’immagine e tutti i segni effettuati con gli strumenti pennello. |
 | Copia maschera sulla prossima immagine: questo comando consente di copiare la maschera dell’immagine corrente a quella successiva. |
| Copia maschera su tutte le immagini: questo comando consente di copiare la maschera dell’immagine corrente a tutte le altre immagini del progetto. |
 | Annulla seleziona: questo comando consente di annullare lo strumento attualmente selezionato. |
 | Selezione rettangolo: questo comando consente di creare una selezione trascinando un rettangolo. Premendo il tasto “+” viene generata una nuova maschera sull’area selezionata dell’immagine. |
 | Selezione poligono: questo comando consente di selezionare la maschera tramite un percorso poligonale e utilizzando il clic sinistro del cursore. Il percorso si chiude automaticamente con un doppio clic. Premendo il pulsante “+” viene creata una nuova maschera sulla porzione selezionata dell’immagine. |
 | Selezione Lasso: questo comando consente la selezione delle immagini in modalità lasso utilizzando il clic sinistro del cursore. Premendo “+” si crea una nuova maschera sulla porzione selezionata dell’immagine. |
 | Maschera l’area selezionata: questo comando consente di aggiungere la selezione alla maschera corrente. |
 | Pulisci l’area selezionata: questo pulsante consente di rimuovere una selezione dalla maschera corrente. |
 | Selezione modello Automagic: questo pulsante consente di selezionare il modello di machine learning che verrà utilizzato dall’algoritmo di calcolo automatico. |
 | Mascheratura automatica per tutte le immagini: questo pulsante consente di calcolare automaticamente tutte le maschere delle immagini. |
 | Mascheratura automatica per l’immagine corrente: questo pulsante consente di calcolare automaticamente la maschera per l’immagine corrente. |
 | Maschera da colore: questo pulsante consente di creare una maschera a partire dai colori RGB. Lo strumento può essere utilizzato per selezionare un colore dallo sfondo dell’immagine, quindi i parametri Soglia e Gauss iter per impostare l’intervallo di colore per la mascheratura. |
 | Pennello per il soggetto: questo comando attiva lo strumento pennello per contrassegnare le parti dell’immagine da includere nella maschera. |
 | Pennello per lo sfondo: questo comando attiva lo strumento pennello per contrassegnare le parti dell’immagine da escludere dalla maschera. |
 | Converti Maschera in segni: questo pulsante consente di convertire le maschere sulle immagini correnti in tracce. |
 | Mascheratura automatica dopo ogni segno: questo comando attiva o disattiva il calcolo automatico della maschera dopo che ogni segno è stato disegnato sull’immagine. |
 | Calcola maschera: questo pulsante consente di calcolare automaticamente l’immagine corrente dopo che sono state contrassegnate sia le tracce del primo piano che quelle dello sfondo. Nota: può essere attivato solo quando la “Mascheratura automatica dopo ogni segno” è disabilitata. |
 | Dimensione pennello: il cursore della dimensione pennello consente di impostare le dimensioni per gli strumenti pennello. |
Mascheratura automatica
La mascheratura automatica in Zephyr utilizza un modello di machine learning per generare rapidamente maschere dalle immagini, riducendo la necessità di modifiche manuali. Può essere applicata sia durante la procedura di Creazione Nuovo progetto sia all’interno dell’interfaccia di Masquerade utilizzando lo Strumento Automagic.
Mascheratura automatica con la creazione di un nuovo progetto
La mascheratura automatica può essere utilizzata durante la creazione di un nuovo progetto tramite: Elabora > Nuovo progetto.
Nella prima pagina, assicurarsi che la casella “Imposta mascheratura” (1) sia selezionata. Cliccando sul pulsante “Successivo”, si avanza alla pagina di Selezione Foto, dove le immagini possono essere caricate automaticamente.
Cliccando nuovamente sul pulsante “Successivo”, si procede alla pagina di Mascheratura, dove la casella “Automatica” (2) deve essere selezionata.
Per utilizzare la mascheratura automatica, è necessario selezionare o scaricare un modello AI dal menu a tendina Modello. Il modello General è ottimizzato per un utilizzo generico ed è particolarmente efficace per dataset a distanza ravvicinata.
Procedi con il pulsante “Successivo” per completare la configurazione della creazione del nuovo progetto. Nell’ultima pagina, cliccare sul pulsante “Avvia”: la Mascheratura automatica verrà calcolata per le camere.
Mascheratura automatica con Masquerade
Lo strumento Masquerade Automagic è progettato per creare automaticamente maschere sfruttando modelli di machine learning pre-addestrati.
Step 1 – Scaricare il modello AI
Lo strumento Masquerade Automagic è progettato per creare automaticamente maschere sfruttando modelli di machine learning.
Per utilizzare lo strumento, cliccare sul pulsante “Seleziona modello Automagic” (1) per aprire la finestra Selezione Modello Automagic (2). Da qui, è possibile selezionare un modello di machine learning. Se non sono stati scaricati altri modelli, oppure per scaricarne uno nuovo, il pulsante “Download” (3) può essere usato per aprire la finestra per scaricare il modello. che può essere scelto dal menu a tendina Modello (4): General è ottimizzato per un uso generale, particolarmente efficace per dataset da vicino.
Dopo aver selezionato il modello, cliccare sul pulsante “Download” (5) per confermare.
Step 2 – Uso dello strumento Automagic
Una volta completato il download, il modello sarà disponibile per essere usato con lo strumento Automagic per generare maschere.
I seguenti comandi sono disponibili nella barra degli strumenti inferiore:
- “Mascheratura automatica per l’immagine corrente” [
- “Mascheratura automatica per tutte le immagini” [
Scegliendo “SI” si consentirà a Masquerade di generare maschere per tutte le immagini, che appariranno nella colonna Navigazione cartella e verranno contrassegnate dal simbolo “(M)”. Ogni immagine quindi avrà una maschera in formato .bim salvata nella directory.
Step 3 – Modifica delle maschere automatiche create
In alcuni casi, se il soggetto è ruotato, lo strumento Automagic potrebbe lasciare qualche area non mascherata, come mostrato nell’esempio sottostante.
Il comando “Converti Maschera in segni” (8) consente di trasformare la maschera in segni modificabili. Ciò permette l’uso degli Strumenti pennello per correggere i segni e perfezionare la maschera. Una volta completate le modifiche, cliccando sul pulsante “Calcola maschera” (9) si confermeranno le modifiche apportate.
Come mostrato nell’immagine sottostante, la maschera è stata corretta grazie al segno creato dal pennello.
Mascheratura manuale
Creazione delle maschere con gli strumenti di selezione
Gli Strumenti di selezione consentono di mascherare con precisione aree specifiche del soggetto. Quando viene effettuata una selezione, essa viene evidenziata in blu. Man mano che la maschera viene applicata, diventerà rossa.
Tutti e tre gli strumenti di selezione seguono lo stesso flusso di lavoro: è necessario trascinare il cursore sull’area desiderata e cliccare sul pulsante “Maschera l’area selezionata” [
Di seguito sono riportati degli esempi che mostrano l’applicazione degli strumenti di selezione:
- Selezione rettangolo: funziona trascinando il rettangolo e cliccando sul pulsante “Maschera l’area selezionata” per confermare la selezione.
- Selezione poligono: funziona utilizzando il “clic-sinistro” del mouse per aggiungere nodi al percorso di selezione, il doppio clic chiude la selezione automaticamente. Cliccando sul pulsante “Maschera l’area selezionata” si confermerà l’area selezionata da mascherare.
- Selezione lasso: funziona trascinando il lasso per selezionare e cliccando sul pulsante “Maschera l’area selezionata” per mascherare.
Creazione delle maschere con gli strumenti pennello
Gli Strumenti pennello (noti anche come strumenti Silhouetter) possono essere utilizzati per creare manualmente maschere o per perfezionare quelle generate dallo Strumento Automagic. 3DF Masquerade utilizza l’ algoritmo per propagare automaticamente la maschera, sfruttando i segni disegnati dall’utente. Un elevato contrasto tra lo sfondo e il soggetto migliora l’efficacia dello strumento nel generare maschere accurate.
Lo strumento richiede i seguenti segni per funzionare:
- Pennello per il soggetto (rosso): Le aree contrassegnate con il segno rosso saranno incluse nella maschera.
- Pennello per lo sfondo (blu): Le aree contrassegnate con il segno blu saranno escluse dalla maschera.
Per usare lo strumento, cliccare sul pulsante “Pennello per il soggetto” (1) per attivare il segno rosso e con il tasto sinistro del mouse disegnare le aree dell’immagine. Per contrassegnare lo sfondo, poi cliccare sul pulsante “Pennello per lo sfondo” (2) oppure tenere premuto il tasto “Shift” mentre si disegna con il tastosinistro del mouse per applicare il segno blu.
La dimensione del pennello può essere regolata utilizzando il cursore della Dimensione pennello (3).
Cliccando sul pulsante “Calcola maschera” [
Caricare le maschere
Tutti i file (.bim) delle maschere creati nella directory delle immagini vengono rilevati automaticamente. Tuttavia, tornando alla sezione Creazione nuovo progetto in 3DF Zephyr, le maschere potrebbero non caricarsi automaticamente. In questo caso, basta cliccare sul pulsante “Aggiorna”: con questa opzione sarà possibile individuare la cartella delle maschere e aggiornare il percorso.
