Meta afferma che SAM è il set di dati più esteso del suo genere fino ad oggi, inclusi 1,1 miliardi di maschere di segmentazione e 11 milioni di immagini
La società madre di Facebook, Meta, ha rilasciato il suo modello di intelligenza artificiale chiamato SAM—Segment Anything model. Il modello mira a segmentare parti di un’immagine e rilevare oggetti che non ha mai visto prima.
Il modello è in grado di farlo grazie al set di dati “SA-1B”. Meta afferma che questo è il set di dati più ampio del suo genere fino ad oggi e include 1,1 miliardi di maschere di segmentazione prodotte dal suo modello di segmentazione e 11 milioni di immagini.
La segmentazione delle immagini è parte integrante delle tecnologie e degli algoritmi di visione artificiale. Anche le grandi tecnologie come Google e Amazon lavorano alla visione artificiale da un po’ di tempo.
Google ha rilasciato implementazioni TPU ad alte prestazioni di due modelli di segmentazione all’avanguardia, Mask R-CNN, per la segmentazione delle istanze, e DeepLab v3+, per la segmentazione semantica, come codice open source nel 2019.
Amazon ha tentato di imparare a segmentare le immagini senza dati di addestramento segmentati manualmente. Hanno sviluppato Box2Seg , un modello di segmentazione dell’istanza che prevede maschere di oggetti e riquadri di delimitazione in un unico passaggio.
Il modello utilizza una combinazione di reti di proposte regionali (RPN) e reti neurali convoluzionali (CNN) per rilevare e segmentare gli oggetti nelle immagini. Gli RPN propongono regioni oggetto nell’immagine e le CNN perfezionano le proposte e prevedono le maschere di segmentazione.
Tutti e quattro i modelli hanno dimostrato risultati impressionanti su set di dati di riferimento e hanno i propri punti di forza e di debolezza. Box2Seg e Mask R-CNN sono particolarmente utili quando è richiesta una precisa localizzazione degli oggetti, mentre SAM e DeepLab v3+ sono più flessibili e possono essere utilizzati per una gamma più ampia di attività di segmentazione.
In sintesi, mentre Amazon, Meta e Google stanno tutti conducendo ricerche nell’area della segmentazione nella visione artificiale, differiscono nelle loro specifiche aree di ricerca e metodologie. Amazon ha sviluppato la segmentazione delle istanze e i modelli di segmentazione semantica, Meta ha sviluppato modelli di segmentazione degli oggetti generici e Google ha sviluppato una gamma di tecniche di segmentazione per la segmentazione semantica, delle istanze e panottica.
Un SAM, molti casi d’uso
Meta nel suo blog ha affermato che SAM è un modello di segmentazione generalizzato, una miscela di due approcci classici alla segmentazione: segmentazione interattiva e automatica.
E la società ha affermato che SAM può eseguire la segmentazione interattiva e la segmentazione automatica con un prompt flessibile, consentendo un’ampia gamma di attività di segmentazione.
Uno dei possibili casi d’uso sottolineati da Meta è l’utilizzo di SAM nel dominio AR/VR, dove potrebbe consentire di selezionare un oggetto in base allo sguardo di un utente e quindi di “sollevarlo” in 3D.
Potrebbe essere utile in qualsiasi campo che richieda la ricerca e la segmentazione di oggetti, ad esempio la microscopia cellulare, senza richiedere ulteriore formazione. Potrebbe anche essere utile per studi scientifici e creazione di contenuti.
SAM ha appreso una nozione generale di cosa sono gli oggetti e può generare maschere per qualsiasi oggetto in qualsiasi immagine o video, inclusi anche oggetti e tipi di immagine che non aveva incontrato durante l’addestramento.
Questo annuncio è anche un segno che Meta non avrebbe lasciato che i concorrenti lo superassero nella gara AI.
Mentre Meta ha colpito una corda quando si tratta di quantità significative di ricerca sull’intelligenza artificiale e alcune scoperte, ha faticato a integrarle nei loro prodotti come Instagram e Facebook. L’azienda si è allontanata dal Metaverse per concentrarsi completamente sull’IA generativa.
Di conseguenza, Zuckerberg ha annunciato un nuovo gruppo di prodotti in Meta che sta lavorando su prodotti AI per Instagram, WhatsApp.
Secondo un post su Facebook del CEO Mark Zuckerberg , più team all’interno di Meta verranno fusi per formare una nuova unità, che sarà guidata dall’attuale Chief Product Officer, Chris Cox.
