Con un’ondata di nuovi LLM, l’IA open source sta vivendo un momento e un dibattito rovente
Il movimento della tecnologia open source ha avuto un momento nelle ultime settimane grazie all’intelligenza artificiale, a seguito di un’ondata di recenti versioni di modelli linguistici di grandi dimensioni (LLM) e uno sforzo da parte di startup, collettivi e accademici per respingere il passaggio dall’intelligenza artificiale a LLM chiusi e proprietari.
Gli LLM all’avanguardia richiedono enormi budget di elaborazione (secondo quanto riferito, OpenAI ha utilizzato 10.000 GPU Nvidia per addestrare ChatGPT) e una profonda esperienza di ML, quindi poche organizzazioni possono addestrarli da zero. Tuttavia, sempre più coloro che hanno le risorse e le competenze non stanno aprendo i loro modelli – i dati, il codice sorgente o la salsa segreta del deep learning, i pesi del modello – al controllo pubblico, affidandosi invece alla distribuzione delle API.
È qui che l’IA open source sta entrando nel vuoto per democratizzare l’accesso agli LLM. Ad esempio, due settimane fa Databricks ha annunciato Dolly simile a ChatGPT , che è stato ispirato da Alpaca , un altro LLM open source rilasciato da Stanford a metà marzo. Alpaca, a sua volta, ha utilizzato i pesi del modello LLaMA di Meta che è stato rilasciato alla fine di febbraio. LLaMA è stato immediatamente acclamato per le sue prestazioni superiori rispetto a modelli come GPT – 3 , nonostante avesse 10 volte meno parametri.
Meta è conosciuta come un’azienda Big Tech particolarmente “aperta” (grazie a FAIR , il Fundamental AI Research Team fondato dal capo scienziato AI di Meta Yann LeCun nel 2013). Aveva reso i pesi del modello di LLaMA disponibili per accademici e ricercatori caso per caso, incluso Stanford per il progetto Alpaca, ma quei pesi sono stati successivamente trapelati su 4chan. Ciò ha consentito agli sviluppatori di tutto il mondo di accedere per la prima volta a un LLM di livello GPT.
EVENTO
Trasforma 2023
Unisciti a noi a San Francisco dall’11 al 12 luglio, dove i massimi dirigenti condivideranno come hanno integrato e ottimizzato gli investimenti nell’intelligenza artificiale per il successo ed evitato le insidie comuni.
Iscriviti ora
Nelle ultime settimane sono stati rilasciati altri modelli open source ispirati a LLaMA, tra cui Vicuna , una versione ottimizzata di LLaMA che corrisponde alle prestazioni di GPT-4; Koala , un modello del Berkeley AI Research Institute; e ColossalChat, un modello di tipo ChatGPT che fa parte del progetto Colossal -AI di UC Berkeley . Alcuni di questi modelli open source sono stati persino ottimizzati per funzionare sui dispositivi con la potenza più bassa, da un MacBook Pro fino a un Raspberry Pi e un vecchio iPhone.
È importante notare, tuttavia, che nessuno di questi LLM open source è ancora disponibile per uso commerciale, perché il modello LLaMA non è rilasciato per uso commerciale e i termini di utilizzo di OpenAI GPT-3.5 vietano l’utilizzo del modello per sviluppare modelli AI che competono con OpenAI.
Un dibattito sull’open source vecchio quanto il software
Anche le organizzazioni non profit sono entrate nella mischia dell’IA open source: la scorsa settimana l’organizzazione no profit tedesca LAION (Large-scale Artificial Intelligence Open Network) ha proposto di democratizzare la ricerca sull’IA e costruire un supercomputer finanziato con fondi pubblici con 100.000 potenti acceleratori, come le GPU. Verrebbe utilizzato per creare repliche open source di modelli grandi e potenti come GPT-4 il più rapidamente possibile.
E due settimane fa, la comunità del software libero Mozilla ha annunciato un’iniziativa open source per lo sviluppo dell’IA, affermando che “intendono creare una comunità AI decentralizzata che possa fungere da” contrappeso “contro le grandi aziende focalizzate sul profitto”.
Tutto ciò ha suscitato un dibattito vecchio come il software: i modelli di intelligenza artificiale dovrebbero essere disponibili gratuitamente in modo che chiunque possa modificarli, personalizzarli e distribuirli senza restrizioni? O dovrebbero essere protetti da copyright e richiedere l’acquisto di una licenza? E quali sono le implicazioni etiche e di sicurezza dell’utilizzo di questi LLM open source o, d’altra parte, delle loro controparti chiuse e costose?
Il movimento del software open source della fine degli anni ’90 e dei primi anni ’00 ha prodotto innovazioni iconiche come il browser Web Firefox di Mozilla, il software server Apache e il sistema operativo Linux, che è stato il fondamento del sistema operativo Android che alimenta la maggior parte degli smartphone del mondo.
Ma nel mondo dell’intelligenza artificiale incentrato sul mondo accademico e ricco di ricerca, l’open source è stato particolarmente influente. “La maggior parte dei progressi negli ultimi cinque anni nell’IA è arrivata dalla scienza aperta e dall’open source”, ha dichiarato a VentureBeat il CEO di Hugging Face Clement Delangue in un’intervista un paio di settimane prima che la società attirasse più di 5.000 persone a un evento AI open source che trasformato in quello che molti chiamavano il “Woodstock dell’IA”.
Ad esempio, ha spiegato, la maggior parte degli LLM più popolari di oggi, incluso ChatGPT, sono basati su Transformers, un’architettura di rete neurale annunciata nel 2017 con il documento di ricerca ” Attention Is All You Need ” (è stato scritto da nove coautori in Google, molti dei quali hanno poi fondato startup LLM tra cui Cohere e Character AI).
Dopo che Transformers è stato sviluppato e condiviso apertamente, “le persone ci hanno costruito sopra con scaffold come RoBERTa, GPT-2 e GPT-3”, ha affermato Delangue. “Le persone stavano costruendo l’una sopra l’altra usando lo stesso tipo di architettura e tecnica”.
Ma nell’ultimo anno e mezzo, sempre più aziende sono passate a modelli commerciali più proprietari, ha spiegato, modelli che potrebbero non avere nemmeno un documento di ricerca. “Ora, non sappiamo se [un modello] è di 200 miliardi o 10 miliardi di parametri”, ha detto. “La comunità di ricerca è lasciata a speculare sui dettagli e crea meno trasparenza”.
Le molte sfumature dello spettro AI open source
Ci sono molte sfumature nello spettro dell’IA open source, ha affermato Moses Guttman, fondatore e CEO di ClearML, una piattaforma MLOps disponibile come servizio ospitato o come strumento open source. Anche se un’azienda non è disposta a condividere il codice sorgente, ha spiegato, può offrire un certo livello di apertura che aiuta a comprendere il processo del modello, “se si anonimizzano i dati o si campionano i dati in modo che le persone capiscano solo su cosa è stato addestrato”.
Le aziende Big Tech si sono storicamente posizionate su vari punti dello spettro dell’apertura. Il CEO di Google, Sundar Pichai, ha recentemente dichiarato al Wall Street Journal di avere già modelli open source, ma che dovrà valutare in futuro.
“Penso che abbia un ruolo importante da svolgere”, ha detto dell’open source, aggiungendo che il futuro ecosistema sarà probabilmente più diversificato di quanto si pensi.
“Nel tempo, avrai accesso a modelli open source”, ha affermato. “Sarai in grado di eseguire modelli sul dispositivo. Le aziende saranno in grado di creare i propri modelli, così come le persone che utilizzano modelli attraverso grandi fornitori di servizi cloud. Penso che avrai una gamma completamente diversa di opzioni.
Ma Yann LeCun ha twittato a febbraio sulle sue preoccupazioni per il futuro dell’IA open source:
In un’intervista con VentureBeat, Joelle Pineau, vicepresidente della ricerca sull’IA presso Meta, ha affermato che la responsabilità e la trasparenza nei modelli di intelligenza artificiale sono essenziali.
“I perni nell’IA sono enormi e chiediamo alla società di accompagnarci”, ha affermato. “Ecco perché, più che mai, dobbiamo invitare le persone a vedere la tecnologia in modo più trasparente e ad appoggiarsi alla trasparenza”.
Ha sottolineato che ci saranno sempre IA open e closed-source, con alcuni modelli progettati per contribuire a spingere la ricerca in modo aperto, mentre altri sono prodotti con il potenziale per trasformare la vita delle persone.
Tuttavia, Pineau non si allinea completamente con le dichiarazioni di OpenAI che citano problemi di sicurezza come motivo per mantenere chiusi i modelli. “Penso che queste siano preoccupazioni valide, ma l’unico modo per avere conversazioni in un modo che ci aiuti davvero a progredire è offrire un certo livello di trasparenza”, ha affermato.
Ha indicato il progetto Alpaca di Stanford come un esempio di “accesso recintato”, in cui Meta ha reso disponibili i pesi LLaMA per i ricercatori accademici, che hanno messo a punto i pesi per creare un modello con caratteristiche leggermente diverse.
“Accogliamo con favore questo tipo di investimento da parte dell’ecosistema per aiutare con i nostri progressi”, ha affermato. Ma mentre non ha commentato a VentureBeat la fuga di notizie di 4chan che ha portato all’ondata di altri modelli LLaMA, ha detto a Verge in un comunicato stampa: “Sebbene il modello [LLaMA] non sia accessibile a tutti… alcuni hanno cercato di aggirare il processo di approvazione.”
Pineau ha sottolineato che Meta ha ricevuto lamentele da entrambe le parti del dibattito in merito alla sua decisione di aprire parzialmente LLaMA. “Da un lato, abbiamo molte persone che si lamentano che non è abbastanza aperto, vorrebbero che non avessimo consentito l’uso commerciale di questi modelli”, ha detto. Ma i dati su cui ci alleniamo non consentono l’utilizzo commerciale di questi dati. Stiamo rispettando i dati”.
Tuttavia, ci sono anche preoccupazioni sul fatto che Meta fosse troppo aperto e che questi modelli siano fondamentalmente pericolosi. “Se le persone si lamentano ugualmente da entrambe le parti, forse non abbiamo fatto troppo male in termini di renderlo un modello ragionevole”, ha detto. “Dirò che questo è qualcosa che monitoriamo sempre e con ciascuna delle nostre versioni, esaminiamo attentamente i compromessi in termini di benefici e potenziali danni”.
Il rilascio di GPT-4 ha portato a un dibattito sull’open source sempre più acceso
Quando GPT-4 è stato rilasciato il 14 marzo, c’è stata una serie di critiche online su ciò che ha accompagnato l’annuncio: un rapporto tecnico di 98 pagine che non includeva alcun dettaglio sull’architettura del modello (incluse le dimensioni del modello), l’hardware, il training computer , costruzione di set di dati, metodo di addestramento o simili.”
Un critico degno di nota della versione closed source di GPT-4 è stato William Falcon, CEO di Lightning AI e creatore di PyTorch Lightning, una libreria Python open source che fornisce un’interfaccia di alto livello per il popolare framework di deep learning PyTorch .
“Penso che ciò che infastidisce tutti è che OpenAI ha realizzato un intero documento lungo circa 90 pagine”, ha detto a VentureBeat. “Questo fa sembrare che sia open-source e accademico, ma non lo è.” OpenAI ha sostenuto l’open source in passato, ha aggiunto. “Hanno giocato bene insieme. Ora, poiché hanno questa pressione per monetizzare… si sono semplicemente separati dalla comunità”.
Sebbene OpenAI sia stata fondata come azienda open source nel 2015, ha chiaramente spostato la sua attenzione. in una recente intervista con The Verge , Ilya Sutskever, capo scienziato e co-fondatore di OpenAI, ha affermato che era “sbagliato” condividere la ricerca così apertamente. Le ragioni di OpenAI per non condividere più informazioni su GPT-4 – paura della concorrenza e timori per la sicurezza – erano “ovvie”, ha detto, aggiungendo che “a un certo punto sarà abbastanza facile, se si volesse, provocare un grande fare del male con quei modelli. E man mano che le capacità aumentano, ha senso che tu non voglia divulgarle.
In una dichiarazione a VentureBeat, Sandhini Agarwal, ricercatore, ricerca politica presso OpenAI, ha affermato che l’azienda mette la sua tecnologia a disposizione di ricercatori esterni “che lavorano a stretto contatto con noi su questioni importanti”, aggiungendo che il software open source svolge un “ruolo cruciale in i nostri sforzi di ricerca” e il loro significato “non possono essere sottovalutati: senza di esso non saremmo stati in grado di ridimensionare ChatGPT. Ci dedichiamo a supportare e contribuire continuamente alla comunità open source”.
L’equilibrio tra AI aperta e chiusa
Mentre si discute sui pro e contro di casi specifici, la maggior parte concorda sul fatto che dovrebbe esserci un equilibrio tra IA aperta e chiusa, ha affermato Stella Biderman, matematica e ricercatrice di intelligenza artificiale presso Booz Allen Hamilton e EleutherAI .
Coloro che affermano che i modelli sono troppo pericolosi per essere rilasciati apertamente creano frustrazioni per i ricercatori esterni che vogliono comprendere i comportamenti di questi prodotti, ha affermato.
“In generale, penso che dovremmo rispettare ciò che le persone pensano sia il modo migliore per diffondere la loro ricerca”, ha affermato. “Ma sono solidale con la preoccupazione che ci sia una disconnessione nella retorica tra, non possiamo mostrare queste informazioni e possiamo anche vendertele.”
Tuttavia, Biderman ha sottolineato che ci sono sicuramente modelli che non dovrebbero essere rilasciati. Booz Allen, ad esempio, è uno dei maggiori fornitori di servizi di intelligenza artificiale per il governo e si concentra principalmente sulle applicazioni di sicurezza nazionale di tali modelli. “Per la sicurezza nazionale e altri motivi, quelle persone non vogliono assolutamente che quei modelli vengano rilasciati”, ha detto.
Tuttavia, avere una ricerca open source è essenziale, ha affermato: “Se non disponiamo di organizzazioni che hanno sia le competenze tecniche, sia i finanziamenti, per addestrare un modello open source, non ci sarà il possibilità per le persone di studiarli al di fuori delle organizzazioni che hanno un interesse finanziario in essi”.
L’ultima ondata di LLM open source ha pro e contro
L’ultima ondata di LLM open source è molto più piccola e non così all’avanguardia come ChatGPT, ma “portano a termine il lavoro”, ha affermato Simon Willison, uno sviluppatore open source e co-creatore di Django, un libero e aperto- fonte Framework web basato su Python.
“Prima che arrivasse LLaMA, penso che molte persone pensassero che per eseguire un modello di linguaggio che fosse di qualche utilità, servissero schede video per un valore di $ 16.000 e uno stack di 100 GPU”, ha detto a VentureBeat. “Quindi l’unico modo per accedere a questi modelli era tramite OpenAI o altre organizzazioni”.
Ma ora, ha spiegato, gli LLM open source possono essere eseguiti su un laptop. “Si scopre che forse non abbiamo bisogno dell’avanguardia per molte cose”, ha detto.
Guttmann di ClearML è d’accordo, affermando che i suoi clienti non hanno necessariamente bisogno di una soluzione su scala di OpenAI. “Le aziende aziendali potrebbero [voler] risolvere un problema molto specifico” che non richiede una bella interfaccia utente”, ha affermato.
Tuttavia, le implicazioni etiche dell’utilizzo di questi modelli LLM open source sono complicate e difficili da navigare, ha affermato Willison. OpenAI, ad esempio, ha filtri e regole extra per impedire di scrivere cose come un manifesto di Hitler, ha spiegato. “Ma una volta che puoi eseguirlo sul tuo laptop e fare la tua formazione aggiuntiva, potresti potenzialmente addestrare un modello linguistico fascista – in effetti, ci sono già progetti su piattaforme come 4chan che mirano a formare modelli linguistici ‘anti-woke’, ” Egli ha detto.
Questo è preoccupante perché apre la porta alla creazione di contenuti dannosi su larga scala. Willison ha indicato come esempio le truffe romantiche: Ora, con i modelli linguistici, i truffatori potrebbero potenzialmente usarli per convincere le persone a innamorarsi e rubare i loro soldi su vasta scala, ha detto.
Attualmente, Willison afferma di propendere per l’intelligenza artificiale open source. “Come programmatore individuale, utilizzo questi strumenti quotidianamente e la mia produttività è aumentata, permettendomi di affrontare problemi più ambiziosi”, ha affermato. “Non voglio che questa tecnologia sia controllata solo da poche aziende giganti; [che] mi sembra intrinsecamente sbagliato dato il suo impatto.
Ma ha comunque espresso preoccupazione. “E se mi sbaglio?” Egli ha detto. “E se i rischi di un uso improprio superassero i benefici dell’apertura? È difficile bilanciare i pro e i contro”.
Il futuro dell’IA deve trovare il giusto equilibrio, affermano gli esperti
In fondo, il software open source dovrebbe essere una buona cosa, ha scritto Alex Engler, ricercatore presso la Brookings Institution in un articolo del 2021 su IEEE Spectrum .
Ma una delle parti spaventose dell’IA open source è quanto sia “intensamente facile da usare”, ha scritto. “La barriera è così bassa… che quasi chiunque abbia un background di programmazione può capire come farlo, anche se non capisce, davvero, cosa sta facendo.”
Secondo Pineau di Meta, la chiave è bilanciare il livello di accesso, che può variare a seconda del potenziale danno del modello.
“La mia speranza, e si riflette nella nostra strategia per l’accesso ai dati, è capire come consentire la trasparenza per gli audit di verificabilità di questi modelli”, ha affermato, aggiungendo che l’accesso potrebbe essere deciso in base al livello di potenziale danno del modello.
D’altra parte, ha affermato che alcuni livelli di apertura vanno troppo oltre. “Ecco perché il modello LLaMA ha avuto un rilascio controllato”, ha spiegato. “Molte persone sarebbero state molto felici di aprirsi completamente. Non penso che sia la cosa responsabile da fare oggi”.
