Ti starai chiedendo se un titolo così audace è vero. La risposta è si. Lascia che ti spieghi perché.
GPT-3 è uscito nel 2020 e ha stabilito una nuova strada che l’intera industria dell’IA ha seguito con intenzione e attenzione da allora. Le aziende tecnologiche hanno ripetutamente costruito modelli migliori e più grandi, uno dopo l’altro. Ma anche se hanno investito milioni nel compito, nessuno di loro ha cambiato radicalmente il paradigma principale o le regole del gioco GPT-3 stabilite due anni fa.
Gopher , Chinchilla e PaLM (probabilmente l’attuale podio dei modelli linguistici di grandi dimensioni) sono significativamente migliori di GPT-3 ma, in sostanza, sono più o meno la stessa cosa. Chinchilla ha dimostrato il successo di leggi di ridimensionamento leggermente diverse, ma è ancora un grande modello basato su trasformatore che utilizza molti dati e calcoli, come gli altri.
DALL·E 2 , Imagen e Parti , sebbene distinti in quello che fanno – modelli da testo a immagine che aggiungono tecniche oltre i trasformatori – sono praticamente basati sulle stesse tendenze. Anche Flamingo e Gato , che si discostano leggermente da GPT-3 verso un approccio più generalista e multimodale all’IA, sono solo un remix delle stesse idee applicate a nuovi compiti.
Ma, soprattutto, tutti questi modelli di intelligenza artificiale derivano dalle immense risorse delle società tecnologiche private. Questo è il fattore comune. Non sono solo le loro specifiche tecniche a farli appartenere allo stesso pacchetto. È perché una manciata di ricchi laboratori di ricerca a scopo di lucro esercitano il controllo assoluto su di loro.
Questo sta per cambiare.
BLOOM e BigScience segnano un punto di svolta per la comunità dell’IA
BLOOM (BigScience Language Open-science Open-access Multilingual) è unico non perché sia architettonicamente diverso da GPT-3 — in realtà è il più simile di tutti i precedenti, essendo anche un modello basato su trasformatore con parametri 176B (GPT-3 ha 175B ) — ma perché è il punto di partenza di un cambio di paradigma socio-politico nell’IA che definirà i prossimi anni sul campo — e spezzerà la morsa che la grande tecnologia ha sulla ricerca e lo sviluppo di modelli linguistici di grandi dimensioni (LLM).
È giusto dire che Meta , Google e OpenAI hanno recentemente reso open source alcuni dei loro grandi modelli basati su trasformatori (OPT, Switch Transformers e VPT, rispettivamente). È perché hanno sviluppato un improvviso apprezzamento per l’open source? Sono sicuro che la maggior parte degli ingegneri e dei ricercatori in quelle aziende l’hanno sempre avuto. Conoscono il valore dell’open-source perché usano quotidianamente librerie e strumenti costruiti sulle sue fondamenta. Ma le aziende, in quanto entità che fanno soldi senza moralità, non si inchinano così facilmente davanti alle preferenze della più ampia comunità di intelligenza artificiale.
Queste aziende non avrebbero reso open source i loro modelli se non fosse stato a causa di alcune istituzioni e laboratori di ricerca che hanno iniziato a esercitare pressioni incredibili in quella direzione.
BigScience , Hugging Face , EleutherAI e altri non amano ciò che la grande tecnologia ha fatto sul campo. Monopolizzare una tecnologia che potrebbe – e si spera beneficerà – avvantaggiare molte persone su tutta la linea non è moralmente giusto. Ma non potevano semplicemente chiedere a Google o OpenAI di condividere la loro ricerca e aspettarsi una risposta positiva. Ecco perché hanno deciso di costruirne e finanziarne uno proprio e di aprirlo liberamente ai ricercatori che vogliono esplorarne le meraviglie. L’IA all’avanguardia non è più riservata alle grandi aziende con grandi tasche.
BLOOM è il culmine di questi sforzi. Dopo più di un anno di lavoro collettivo iniziato a gennaio 2021 e formazione di oltre 3 mesi sul supercomputer pubblico francese Jean Zay, BLOOM è finalmente pronto. È il risultato del BigScience Research Workshop che comprende il lavoro di oltre 1000 ricercatori da tutto il mondo e conta sulla collaborazione e il supporto di oltre 250 istituzioni, tra cui Hugging Face, IDRIS , GENCI e Montreal AI Ethics Institute , tra gli altri .
Ciò che hanno in comune è che credono che la tecnologia, e in particolare l’IA, debbano essere aperta, diversificata, inclusiva, responsabile e accessibile a beneficio dell’umanità.
Il loro impressionante sforzo collettivo e la loro posizione singolare all’interno del settore dell’IA sono paragonabili solo all’attenzione con cui hanno considerato il contesto sociale, culturale, politico e ambientale che è alla base della progettazione dei modelli di intelligenza artificiale – e in particolare di BLOOM – e dei processi di selezione, cura e governance dei dati.
I membri di BigScience hanno rilasciato una carta etica che stabilisce i valori a cui tengono per quanto riguarda lo sviluppo e l’implementazione di queste tecnologie. Li hanno divisi in due categorie: intrinseco, ” prezioso… come fine ” ed estrinseco, ” prezioso come mezzo “. Riassumerò qui questi valori citando la carta, poiché considero ciascuno di essi fondamentale per comprendere il significato senza precedenti di BigScience e BLOOM. (Raccomando comunque di leggere l’intera carta. È breve.)
Valori intrinseci
Inclusività: “…Uguale accesso ai manufatti di BigScience … non solo non discriminazione, ma anche senso di appartenenza…”
Diversità: “…Oltre 900 ricercatori e comunità … da 50 paesi che coprono oltre 20 lingue…”
Riproducibilità: “…BigScience mira a garantire la riproduzione degli esperimenti di ricerca e delle conclusioni scientifiche…”
Apertura: “…ricercatori legati all’IA provenienti da tutto il mondo possono contribuire e aderire all’iniziativa… [e] i risultati…saranno condivisi su base aperta…”
Responsabilità: “Ogni contributore ha una responsabilità sia individuale che collettiva [sociale e ambientale] per il proprio lavoro nell’ambito del progetto BigScience…”
Valori estrinseci
Accessibilità: “Come mezzo per raggiungere l’apertura. BigScience si impegna al massimo per rendere la nostra ricerca e i risultati tecnologici facilmente interpretabili e spiegati al grande pubblico…”
Trasparenza: “Come mezzo per raggiungere la riproducibilità. Il lavoro di BigScience è attivamente promosso in varie conferenze, webinar, ricerca accademica e divulgazione scientifica in modo che gli altri possano vedere il nostro lavoro…”
Interdisciplinarietà: “Come mezzo per raggiungere l’inclusività. Costruiamo costantemente ponti tra informatica, linguistica, diritto, sociologia, filosofia e altre discipline rilevanti al fine di adottare un approccio olistico nello sviluppo di artefatti BigScience”.
Multilinguismo: “Come mezzo per raggiungere la diversità. Disponendo di un sistema multilingue sin dalla sua concezione, con l’obiettivo immediato di coprire le 20 lingue più parlate al mondo…”
BigScience e BLOOM sono, senza dubbio, il tentativo più notevole di abbattere tutte le barriere che la grande tecnologia ha eretto, volontariamente o meno, nell’ultimo decennio nel campo dell’IA. E l’impegno più sincero e onesto per costruire l’IA (in particolare LLM) a vantaggio di tutti.
Se vuoi saperne di più sull’approccio BigScience, leggi questa fantastica serie di tre articoli sul contesto sociale nella ricerca LLM. L’accesso a BLOOM sarà disponibile tramite Hugging Face .
Cosa rende BLOOM diverso
Come ho notato all’inizio, BLOOM non è il primo modello di linguaggio open source di tali dimensioni. Meta, Google e altri hanno già reso open source alcuni modelli. Ma, come ci si aspetta, quelli non sono il meglio che queste aziende possono offrire. Guadagnare denaro è il loro obiettivo principale, quindi condividere la loro ricerca all’avanguardia non è sul tavolo. Questo è esattamente il motivo per cui segnalare la loro intenzione di partecipare alla scienza aperta con queste mosse strategiche di PR non è sufficiente.
BigScience e BLOOM sono l’incarnazione di un insieme di valori etici che le aziende non possono rappresentare per definizione. Il risultato visibile è, in entrambi i casi, un LLM open source. Tuttavia, le basi nascoste – ed estremamente necessarie – che guidano BigScience sottolineano le differenze inconciliabili tra queste iniziative collettive e la potente Big Tech.
Non è la stessa cosa adottare pratiche open source a malincuore, forzato dalle circostanze, come farlo perché credi fermamente sia l’approccio giusto. La convinzione dei membri di BigScience che dovremmo democratizzare l’IA e mirare a avvantaggiare il maggior numero di persone, aprendo l’accesso e i risultati o affrontando questioni etiche, è ciò che rende BLOOM unico. Ed è anche ciò che lo rende – probabilmente, lo ammetto – il modello di intelligenza artificiale più importante del decennio.
BLOOM è la punta di diamante di un campo sull’orlo di un cambiamento radicale in meglio. È la bandiera di un movimento che va oltre le attuali tendenze della ricerca. È l’insediamento di una nuova era per l’IA che non solo farà avanzare il campo più velocemente, ma costringerà coloro che preferirebbero procedere diversamente ad abbracciare le nuove regole che ora governano il campo.
Questa non è la prima volta che l’open source ha conquistato la privacy e il controllo. Abbiamo esempi su computer, sistemi operativi, browser e motori di ricerca. La storia recente è piena di scontri tra coloro che volevano mantenere i benefici per se stessi e coloro che hanno combattuto per conto di tutti gli altri e hanno vinto. L’open source e la scienza aperta sono le fasi finali della tecnologia. E stiamo per entrare in questa nuova era per l’IA.
Alberto Romero da medium.com
