Infine, un grande modello linguistico open source
Dobbiamo stare attenti a non cadere nella trappola del tecnosoluzionismo.
BigScience è una collaborazione aperta avviata da HuggingFace, GENCI e IDRIS e organizzata come un seminario di ricerca. Con l’aiuto di circa 1.000 accademici e ricercatori in tutto il mondo, BigScience ha sviluppato BLOOM per contrastare la roccaforte della grande tecnologia sui modelli linguistici di grandi dimensioni.
Una prima versione del modello linguistico BLOOM è stata rilasciata il 17 giugno 2022. Il modello linguistico Bloom sarà open source e sarà il primo modello della sua scala a essere multilingue.
L’obiettivo del progetto BigScience è di far partecipare un gruppo di ricercatori allo sviluppo e alla formazione di un modello linguistico aperto di grandi dimensioni.
“Tutto avviene interamente all’aperto: chiunque può partecipare e condividiamo tutti gli artefatti della ricerca con l’intera comunità di ricerca. Questa iniziativa è concepita come un laboratorio di ricerca interdisciplinare, che riunisce ricercatori con diversi interessi di ricerca, dalle scienze sociali al Machine Learning. L’idea principale è mostrare che esiste un modo aperto, collaborativo e interdisciplinare per creare modelli linguistici di grandi dimensioni “, ha affermato Giada Pistilli, etica di Hugging Face.
BLOOM viene addestrato con un tempo di elaborazione finanziato con fondi pubblici per un valore di 7 milioni di dollari. Il team ha anche ottenuto l’accesso gratuito alla struttura del supercomputer Jean Zay (IDRIS) da 28 petaflop fuori Parigi.
Cos’è BigScience?
BigScience non è né un consorzio né un’entità ufficialmente costituita. La collaborazione si ispira a progetti scientifici come Large Hadron Collider, in cui le collaborazioni scientifiche aperte tra la comunità scientifica hanno facilitato la creazione di manufatti su larga scala utili per l’intera comunità.
BigScience è composta da ricercatori indipendenti e ricercatori accademici e industriali interessati all’IA, alla PNL , alle scienze sociali, al diritto, all’etica e alle politiche pubbliche.
Parlando del significato di un’iniziativa come BigScience, Pistilli ha affermato che c’è una crescente necessità di condurre la ricerca in un ambiente in cui le parti interessate possono avere input e influenzare il processo di progettazione. Questo processo consentirà loro di contribuire a plasmare i valori e le priorità del progetto di ricerca e decidere quali dati e valutazioni dovrebbero essere utilizzati.
“BigScience mira a compiere progressi significativi verso la risoluzione di problemi complessi e creare strumenti e processi per aiutare una maggiore diversità di partecipanti. Un altro aspetto importante è stato lo sforzo congiunto che abbiamo condotto per aiutare ad assegnare un posto ai modelli linguistici di grandi dimensioni all’interno della società”, ha affermato Pistilli.
Aperto a tutti
Il modello BLOOM completamente addestrato è accessibile a tutti i ricercatori; tuttavia, per eseguirlo, è necessaria una capacità hardware significativa. Sfortunatamente, non tutti i ricercatori hanno tale capacità. Pertanto, il team pubblicherà versioni più piccole e meno dispendiose in termini di hardware. Inoltre, verrà creato un sistema distribuito per consentire ai laboratori di condividere il modello sui propri server.
Inoltre, Hugging Face rilascerà un’applicazione web che consentirà a chiunque di interrogare BLOOM senza scaricare.
I modelli sono validi solo quanto i set di dati su cui vengono addestrati. Pertanto, la scelta del testo per addestrare il modello è stata una decisione chiave per il team. La maggior parte dei modelli principali sono alimentati con il linguaggio direttamente dal Web e dialoghi aperti pubblicamente da fonti come Reddit. Tuttavia, il team ha selezionato a mano circa due terzi del set di dati di 341 miliardi di parole con cui BLOOM è stato addestrato.
Grandi aziende che monopolizzano gli LLM?
I modelli linguistici di grandi dimensioni stanno cambiando rapidamente il panorama dell’IA. Ma non molte organizzazioni hanno le risorse per formare modelli così grandi. In un mondo equo, la tecnologia dovrebbe essere accessibile a tutti e utilizzata per il miglioramento dell’umanità. Tuttavia, vi è una crescente preoccupazione che le grandi aziende possano monopolizzare tali modelli per interessi acquisiti.
Inoltre, dato il potenziale impatto di tali modelli linguistici, è imperativo che la comunità più ampia abbia una buona comprensione di come sono costruiti, come funzionano e come possono essere migliorati.
I modelli popolari come GPT-3 di OpenAI non sono open source. Ciò significa che il funzionamento interno di tali modelli è noto solo a una manciata di persone.
“Le nuove tecnologie di intelligenza artificiale stanno avendo un impatto considerevole sulla società. Basti pensare ai grandi modelli linguistici utilizzati per eseguire la moderazione dei contenuti, la previsione del testo nelle nostre interfacce e-mail o le traduzioni automatiche. La dicotomia fondamentale qui sta nell’aprire o chiudere questi modelli. Ci sono ragioni di sicurezza per tenerli chiusi, ma così facendo si mantiene la sua costruzione in termini di set di dati e formazione ugualmente chiusi e quindi inaccessibili.
“Questa scelta rappresenta la vecchia tensione filosofica tra sicurezza e libertà. Quindi questa preferenza chiusa rende difficile per la comunità di ricerca studiare e valutare questi modelli per misurare il loro impatto sulla società. Le ragioni per l’apertura di processi specifici diventano una questione di trasparenza e, quindi, di responsabilità”, ha aggiunto Pistilli.
Oltre a cercare di spezzare la morsa delle grandi aziende sui modelli linguistici di grandi dimensioni, BLOOM mira ad affrontare i pregiudizi che i modelli linguistici di grandi dimensioni ereditano dai set di dati su cui si allenano.
“A causa della complementarità tra diritto ed etica , abbiamo redatto una carta etica che ha ispirato la governance del progetto e il suo aspetto giuridico, etico e sociale. In quanto società influenzata, direttamente o indirettamente, da queste tecnologie, dobbiamo educarci sulle implicazioni etiche di queste nuove tecnologie sulla nostra vita quotidiana.
“Dobbiamo informare le persone che la tecnologia non è mai neutrale ed è inscritta in un quadro socio-politico. In quanto strumento di potere, può arrivare ad alterare i rapporti di potere all’interno della società e ad amplificare le sue ingiustizie. Dobbiamo anche stare attenti a non cadere nella trappola del tecnosoluzionismo , cioè della pretesa di risolvere i problemi di fondo della società attraverso strumenti tecnologici”, ha affermato Pistilli.
