Meta ha appena aggiornato la sua popolare tecnologia di “Segment Anything” con una nuova versione, chiamata “Segment Anything Model 2” (SAM 2), che ora offre la possibilità di separare e modificare oggetti non solo nelle immagini, ma anche nei video.
La tecnologia di segmentazione si occupa di isolare oggetti specifici all’interno di foto o video, permettendo di modificarli o utilizzarli in modo autonomo. Lo scorso anno, Meta aveva lanciato una versione open source di questa tecnologia per le immagini statiche, che ha ottenuto un grande successo creando animazioni da schizzi disegnati a mano.
Ora, con SAM 2, questa tecnologia è stata estesa ai video. Questa versione consente di separare oggetti dai video e di applicare modifiche in tempo reale. Dal momento che la segmentazione dei video è molto più complessa rispetto a quella delle immagini (perché gli oggetti possono muoversi, cambiare forma e essere nascosti da altri elementi), implementare questa funzione era particolarmente difficile. Tuttavia, SAM 2 sembra aver risolto molti di questi problemi.
Insieme al nuovo modello, Meta ha anche rilasciato il set di dati SA-V, utilizzato per addestrare SAM 2. Questo set include oltre 600.000 etichette per 51.000 video, provenienti da 47 paesi e coprendo una vasta gamma di situazioni del mondo reale.
Meta ha dichiarato che questo strumento semplificherà l’editing video e potrà essere utilizzato anche per applicazioni nella realtà mista. Inoltre, sarà utile per etichettare dati visivi per addestrare altri modelli di visione artificiale. L’azienda è entusiasta di scoprire come gli utenti sfrutteranno questo nuovo strumento.
Mark Zuckerberg, CEO di Meta, ha discusso di SAM 2 in una conversazione con Jensen Huang, CEO di NVIDIA, sottolineando come gli scienziati lo utilizzano per studi su barriere coralline e habitat naturali, apprezzando la possibilità di isolare e mostrare solo le parti rilevanti dei video.
Sam 2 è attualmente disponibile come demo gratuita su https://sam2.metademolab.com/.