IBM e NASA hanno rilasciato in open source il NASA-IBM Lunar Foundation Model, un foundation model multimodale e multirisoluzione progettato per l’analisi dei dati di telerilevamento della Luna, insieme a SomBench, il dataset lunare co-registrato utilizzato per il suo addestramento. Il modello è stato sviluppato a partire da un ampio insieme di osservazioni lunari curate dai ricercatori delle due organizzazioni ed è pensato come rappresentazione riutilizzabile per attività di remote sensing, evitando di dover costruire da zero un sistema specifico per ogni nuovo problema scientifico. I pesi sono disponibili su Hugging Face con licenza Apache 2.0, mentre il codice per il fine-tuning è mantenuto in un repository GitHub di NASA IMPACT; l’adattamento ai task downstream viene gestito attraverso TerraTorch. L’encoder può essere sottoposto a fine-tuning completo oppure adattato mediante LoRA per compiti come detection, segmentazione e regressione densa su immagini LROC e prodotti del terreno co-registrati, anche usando sottoinsiemi di modalità o griglie di patch differenti rispetto a quelle impiegate in pretraining.
Tra le applicazioni previste rientra la stima delle aree in cui potrebbe essere presente ghiaccio nelle regioni permanentemente in ombra, difficili da osservare direttamente ma considerate di particolare interesse per future attività sulla superficie lunare. Il modello può inoltre essere impiegato per mappare gli Irregular Mare Patches, strutture vulcaniche utilizzate per studiare la storia del vulcanismo e l’evoluzione termica della Luna, e per individuare, contestualizzare e classificare i crateri. Quest’ultimo compito permette sia di ricavare informazioni sull’età e sulla geologia del terreno sia di supportare l’analisi di possibili siti di atterraggio, dove occorre tenere conto di pericoli come forti pendenze e massi. Il Lunar Foundation Model entra nella famiglia Prithvi di modelli fondamentali aperti sviluppati nell’ambito della collaborazione IBM-NASA, che comprende già sistemi dedicati a dati geospaziali, meteo ed eliofisici.
Dal punto di vista architetturale, il sistema utilizza un encoder-decoder ViT-B con rappresentazioni a 768 dimensioni, 12 livelli e 12 teste di attenzione, addestrato da zero su SomBench. Il corpus di pretraining comprende circa 2 milioni di gruppi di tile lunari co-registrati, distribuiti su 11 modalità e due scale spaziali differenti: immagini della Narrow Angle Camera del Lunar Reconnaissance Orbiter con risoluzione di circa 1 metro per pixel e immagini della Wide Angle Camera con risoluzione di circa 100 metri per pixel. La struttura riprende la strategia di masked-token learning utilizzata da TerraMind, introducendo però modifiche specifiche per il contesto lunare. La geometria di acquisizione di ciascuna tile, compresi gli angoli di illuminazione, i riferimenti rispetto al sistema solare e l’impronta spaziale della tile, viene trasformata in token e passata esplicitamente all’encoder, poiché l’aspetto della superficie lunare dipende in misura significativa dalle condizioni di illuminazione. Le tile basate su NAC e WAC vengono inoltre addestrate insieme in un unico ciclo mixed-batch mantenendo le rispettive risoluzioni native, permettendo a un solo insieme di pesi di operare su scale che differiscono di un fattore 100.
Gli input comprendono nove livelli densi di tipo immagine e due modalità contestuali di tipo sequenziale. I metadati ottici associati a ogni tile contengono otto campi, mentre il contesto proveniente dalle mappe statiche comprende 28 campi derivati da prodotti e strumenti come Diviner, LOLA, Mini-RF, Kaguya, WAC, GRAIL e Lunar Prospector. L’architettura utilizza inoltre un patch embedding FlexiViT, che consente di sottoporre il checkpoint a fine-tuning con dimensioni delle patch differenti senza dover riaddestrare l’intero backbone, mentre la tokenizzazione separata per modalità permette di rimuovere o aggiungere specifiche fonti informative durante l’adattamento downstream. Il pretraining è stato eseguito su 16 GPU NVIDIA H100 per 150.000 step, utilizzando un batch globale di 1.536 campioni in formato bf16, per un totale di circa 1.100 GPU-ore. La pipeline comprende nove tokenizer VQ-VAE specifici per modalità con quantizzazione FSQ, un decoder DDPM e un obiettivo di cross-entropy applicato ai vocabolari di token discreti.
Nei risultati diffusi da IBM, il modello supera fino al 23% alcuni approcci comunemente utilizzati nell’identificazione di caratteristiche geografiche della superficie lunare, tra cui potenziali depositi di ghiaccio, crateri e formazioni vulcaniche. Per la stima delle aree con maggiore probabilità di presenza di ghiaccio lunare è stata indicata una riduzione dell’errore RMSE fino al 22% rispetto a SwinV2-B pre-addestrato su ImageNet. Nella segmentazione degli Irregular Mare Patches il sistema avrebbe ricostruito l’estensione delle strutture con un miglioramento di circa il 3% rispetto a SwinV2-B anche in presenza di etichette non perfette, mentre nel rilevamento dei crateri su scala metrica ha raggiunto risultati paragonabili ai modelli allo stato dell’arte. Nel contesto WAC a circa 100 metri di scala ha invece superato SwinV2-B di quasi il 19% utilizzando metà dei dati di training.
I valori riportati nella model card mostrano, per la polar ice prospectivity, un RMSE di 0,0293 con fine-tuning completo, rispetto a 0,0377 del miglior baseline SwinV2-B e 0,0397 del controllo inizializzato casualmente. Per la segmentazione degli Irregular Mare Patches viene indicato un IoU1 di 0,5709 contro 0,5687 di ConvNeXtV2-B, mentre nella crater detection sul dataset Robbins con immagini WAC il modello raggiunge un mAP di 0,2581 utilizzando LoRA, rispetto a 0,2420 di SwinV2-B. Le varianti pre-addestrate utilizzando soltanto il 50% dei dati downstream riescono già a eguagliare o superare SwinV2-B addestrato sull’intero set. Per i benchmark NAC sui crateri e per gli Irregular Mare Patches gli stessi autori invitano tuttavia a considerare i modelli migliori sostanzialmente comparabili, perché le differenze tra le prestazioni risultano inferiori alla variabilità riscontrata tra seed differenti. I test sono stati eseguiti attraverso TerraTorch mantenendo invariati loader, suddivisione dei dati, augmentation, funzioni di loss e metriche, confrontando il modello con architetture tra cui ResNet-50, ViT-B MAE, ConvNeXt-B, ConvNeXt-V2-B, SwinV2-B, DaViT-B, DeepLabV3+ e SegFormer e riportando media e deviazione standard su cinque seed.
SomBench è stato costruito da IBM insieme alla NASA aggregando più di 30 livelli spazialmente allineati provenienti da nove strumenti distribuiti su quattro missioni, comprese Lunar Reconnaissance Orbiter e GRAIL della NASA e SELENE/Kaguya della JAXA. Il dataset è articolato in due componenti. WACLowRes comprende 963.609 tile con una copertura di 51,2 chilometri e una risoluzione di 100 metri per pixel, ottenute da 54.080 Experiment Data Records della Wide Angle Camera, per un volume complessivo di circa 38 TB. NACHighRes comprende invece 1.000.113 tile con copertura di 512 metri e risoluzione di 1 metro per pixel, derivate da 1.095 registrazioni della Narrow Angle Camera e pari a circa 1,4 TB. SomBench è distribuito con licenza CC BY 4.0 e il dataset completo viene ospitato su AWS. La suddivisione train-validation-test viene effettuata a livello delle zone Lunar Transverse Mercator con un obiettivo del 75%, 15% e 10%; le tile che attraversano il confine tra due zone vengono eliminate per evitare leakage spaziale e il test set viene riservato alla valutazione delle applicazioni downstream.
IBM e NASA precisano anche i limiti di utilizzo del sistema. Il Lunar Foundation Model non è un prodotto generativo di livello scientifico, non mantiene un sistema di riferimento geodetico e non è stato validato per decisioni operative come la certificazione di siti di atterraggio o la verifica definitiva dell’assenza di pericoli. Le previsioni relative alla presenza di ghiaccio non corrispondono inoltre a misurazioni dirette del ghiaccio stesso, ma effettuano una regressione rispetto a una mappa di prospectivity costruita mediante fuzzy overlay sulla base di conoscenze scientifiche pregresse. Tra le ulteriori limitazioni figurano il fatto che non siano ancora stati isolati mediante ablation study i contributi delle singole componenti architetturali, il pretraining NAC limitato a 1.095 frame co-registrati, la presenza nel dataset di risoluzioni spaziali eterogenee e un’incertezza assoluta di geolocalizzazione che può raggiungere alcune decine di metri. Il progetto è stato sostenuto dalla NASA nell’ambito dell’Award No. 80MSFC25M0084.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)