I ricercatori nel Regno Unito hanno sviluppato un sistema di sintesi delle immagini basato sull’intelligenza artificiale in grado di convertire al volo mappe basate su vettori in immagini in stile satellitare.
L’architettura neurale si chiama Seamless Satellite-image Synthesis (SSS) e offre la prospettiva di ambienti virtuali realistici e soluzioni di navigazione che hanno una risoluzione migliore di quella che le immagini satellitari possono offrire; sono più aggiornati (poiché i sistemi cartografici possono essere aggiornati in tempo reale); e può facilitare viste realistiche in stile orbitale in aree in cui la risoluzione del sensore satellitare è limitata o altrimenti non disponibile.
I dati vettoriali privi di risoluzione possono essere tradotti in immagini di dimensioni molto più elevate rispetto a quelle spesso disponibili dalle immagini satellitari reali e possono riflettere rapidamente gli aggiornamenti nelle mappe cartografiche basate sulla rete, come nuovi ostacoli o cambiamenti nell’infrastruttura della rete stradale. Fonte: https://arxiv.org/pdf/2111.03384.pdf
Per dimostrare la potenza del sistema, i ricercatori hanno creato un ambiente interattivo in stile Google Earth in cui lo spettatore può ingrandire e osservare le immagini satellitari generate in una varietà di scale di rendering e dettagli, con le tessere che si aggiornano dal vivo più o meno allo stesso modo come i sistemi interattivi convenzionali per le immagini satellitari:
Inoltre, poiché il sistema può generare immagini in stile satellitare da qualsiasi mappa vettoriale, potrebbe in teoria essere utilizzato per costruire mondi storici, proiettati o fittizi, da incorporare in simulatori di volo e ambienti virtuali. Inoltre, i ricercatori prevedono di sintetizzare ambienti virtuali completamente 3D da dati cartografici utilizzando trasformatori.
A breve termine, gli autori ritengono che il loro framework potrebbe essere utilizzato per una serie di applicazioni del mondo reale, tra cui la pianificazione urbana interattiva e la modellazione procedurale, prevedendo uno scenario in cui le parti interessate possono modificare una mappa in modo interattivo e vedere immagini a volo d’uccello di il terreno proiettato in pochi secondi.
Il nuovo documento proviene da due ricercatori dell’Università di Leeds e si intitola Seamless Satellite-image Synthesis .
L’architettura SSS ricrea Londra, con uno sguardo alla struttura vettoriale sottostante che sta alimentando la ricostruzione. Riquadro in alto a sinistra, l’intera immagine, disponibile in materiale supplementare a risoluzione 8k.
Architettura e dati di addestramento di origine
Il nuovo sistema utilizza Pix2Pix 2017 di UCL Berkeley e l’ architettura di sintesi delle immagini SPADE di NVIDIA . Il framework contiene due nuove reti neurali convoluzionali: map2sat , che esegue la conversione da immagini vettoriali a immagini basate su pixel; e seam2cont , che non solo calcola un metodo senza soluzione di continuità per raccogliere i riquadri 256×256, ma fornisce anche un ambiente di esplorazione interattivo.
L’architettura della SS.
Il sistema impara a sintetizzare le viste satellitari allenandosi sulle viste vettoriali e sui loro equivalenti satellitari nella vita reale, formando una comprensione generalizzata su come interpretare le sfaccettature vettoriali in interpretazioni fotorealistiche.
Le immagini vettoriali utilizzate nel set di dati sono rasterizzate da file GeoPackage (.geo) che contengono fino a 13 etichette di classe, come pista , ambiente naturale , edificio e strada , che vengono sfruttate per decidere il tipo di immagini da inserire la vista satellitare.
Le immagini satellitari .geo rasterizzate conservano anche i metadati del sistema di riferimento delle coordinate locali, che vengono utilizzati per interpretarli nel contesto nel quadro più ampio della mappa e per consentire all’utente di navigare in modo interattivo nelle mappe create.
Piastrelle senza soluzione di continuità sotto vincoli rigidi
La creazione di ambienti mappa esplorabili è una sfida, poiché le limitazioni hardware nel progetto limitano i riquadri a una dimensione di soli 256 x 256 pixel. Pertanto è importante che il processo di rendering o composizione tenga conto del “quadro più ampio”, invece di concentrarsi esclusivamente sulla piastrella a portata di mano, il che porterebbe a giustapposizioni stridenti quando le piastrelle vengono fascicolate, con strade che cambiano improvvisamente colore e altri non -artefatti di rendering realistici.
Pertanto SSS utilizza una gerarchia spazio-scala di reti di generatori per generare variazioni di contenuto su una varietà di scale e il sistema è in grado di valutare arbitrariamente i riquadri a qualsiasi scala intermedia di cui potrebbe aver bisogno l’osservatore.
La sezione seam2cont dell’architettura utilizza due livelli sovrapposti e indipendenti dell’output di map2sat e calcola un bordo appropriato nel contesto dell’immagine più ampia da rappresentare:
Il modulo seam2cont utilizza un’immagine con cuciture affiancate e una senza cuciture dalla rete map2sat, al fine di calcolare bordi senza giunture tra le tile generate da 256×256 pixel.
La rete map2sat è un adattamento ottimizzato di una rete SPADE a tutti gli effetti, addestrata esclusivamente a 256×256 pixel. Gli autori notano che questa è un’implementazione leggera e agile, che porta a pesi di soli 31,5 mb contro 436,9 mb in una rete SPADE completa.
3000 immagini satellitari reali sono state utilizzate per addestrare le due sottoreti su 70 epoche di tempo di addestramento; tutte le immagini contengono informazioni semantiche equivalenti (vale a dire una comprensione concettuale di basso livello di oggetti raffigurati come “strade”) e metadati di posizionamento georeferenziati.
