L’uso dell’IA nel mondo reale rimane una sfida sotto molti aspetti. Le organizzazioni stanno lottando per attrarre e trattenere talenti, costruire e implementare modelli di intelligenza artificiale, definire e applicare pratiche di intelligenza artificiale responsabili e comprendere e prepararsi per la conformità al quadro normativo.
Allo stesso tempo, DeepMinds, Googles e Metas del mondo stanno portando avanti la loro ricerca sull’IA. Il pool di talenti, l’esperienza e i processi relativi all’operazionalizzazione rapida e su larga scala della ricerca sull’IA li pongono su un livello diverso dal resto del mondo, creando di fatto un divario nell’IA.
Queste sono 4 tendenze di ricerca sull’IA su cui stanno guidando i giganti della tecnologia, ma tutti gli altri parleranno e utilizzeranno nel prossimo futuro.
- Abilità emergenti di modelli linguistici di grandi dimensioni nella ricerca sull’IA
Uno dei punti chiave di discussione sulla via da seguire nell’IA è se l’aumento di scala può portare a qualità sostanzialmente diverse nei modelli. Secondo un recente lavoro di un gruppo di ricercatori di Google Research, Stanford University, UNC Chapel Hill e DeepMind, è possibile.
La loro ricerca discute quelle a cui si riferiscono come abilità emergenti di modelli linguistici di grandi dimensioni (LLM). Un’abilità è considerata emergente se non è presente nei modelli più piccoli ma è presente nei modelli più grandi. La tesi è che l’esistenza di tale emergenza implica che un ulteriore ridimensionamento potrebbe ampliare ulteriormente la gamma di capacità dei modelli linguistici.
Il lavoro valuta le abilità emergenti in LaMDA e PaLM di Google, GPT-3 di OpenAI e Gopher e Chinchilla di DeepMind. In termini di “grande” negli LLM, si nota che i modelli linguistici odierni sono stati ridimensionati principalmente in base a tre fattori: quantità di calcolo (in FLOP), numero di parametri del modello e dimensione del set di dati di addestramento.
Anche se la ricerca si concentra sul calcolo, si applicano alcune avvertenze. Pertanto, i ricercatori osservano che potrebbe essere saggio considerare l’emergenza come una funzione di molte variabili correlate.
Al fine di valutare le capacità emergenti degli LLM, i ricercatori hanno sfruttato il paradigma del prompting, in cui a un modello linguistico preaddestrato viene fornita una richiesta di attività (ad esempio un’istruzione in linguaggio naturale) e completa la risposta senza ulteriore formazione o aggiornamenti graduali dei suoi parametri .
Gli LLM sono stati valutati utilizzando benchmark standard sia per le cosiddette attività con prompt a pochi colpi, sia per strategie di prompt aumentate. Le attività guidate a pochi colpi includono cose come addizioni e sottrazioni e comprensione della lingua in domini tra cui matematica, storia, diritto e altro ancora. I prompt aumentati includono attività come il ragionamento in più passaggi e il seguire le istruzioni.
I ricercatori hanno scoperto che una serie di abilità è stata osservata solo se valutata su un modello linguistico sufficientemente ampio. La loro comparsa non può essere prevista semplicemente estrapolando le prestazioni su modelli su scala ridotta. L’implicazione generale è che un ulteriore ridimensionamento probabilmente doterà modelli linguistici ancora più grandi di nuove abilità emergenti. Ci sono molte attività nei benchmark per le quali anche i più grandi modelli LaMDA e GPT-3 non ottengono prestazioni superiori a quelle casuali.
Per quanto riguarda il motivo per cui queste abilità emergenti si manifestano, alcune possibili spiegazioni offerte sono che compiti che coinvolgono un certo numero di passaggi possono richiedere anche un modello di uguale profondità, e che è ragionevole presumere che più parametri e più addestramento consentano una migliore memorizzazione che potrebbe essere utile per compiti che richiedono la conoscenza del mondo.
Con il progredire della scienza dell’addestramento degli LLM , notano i ricercatori, alcune abilità potrebbero essere sbloccate per modelli più piccoli con nuove architetture, dati di qualità superiore o procedure di addestramento migliorate. Ciò significa che entrambe le abilità esaminate in questa ricerca, così come altre, potrebbero eventualmente essere disponibili anche per gli utenti di altri modelli di intelligenza artificiale.
2. Il suggerimento della catena di pensiero suscita il ragionamento nei LLM
Un’altra capacità emergente che attira l’attenzione nel lavoro recentemente pubblicato dai ricercatori del Google Research Brain Team è l’esecuzione di ragionamenti complessi.
L’ipotesi è semplice: cosa accadrebbe se, invece di essere concisi durante la richiesta di LLM, gli utenti mostrassero al modello alcuni esempi di un processo di ragionamento a più fasi simile a quello che userebbe un essere umano?
Una catena di pensiero è una serie di passaggi intermedi di ragionamento in linguaggio naturale che portano all’output finale, ispirato dal modo in cui gli esseri umani usano un processo di pensiero deliberato per eseguire compiti complicati.
Questo lavoro è motivato da due idee chiave: in primo luogo, la generazione di risultati intermedi migliora significativamente la precisione per le attività che coinvolgono più fasi di calcolo. In secondo luogo, gli LLM possono essere “richiesti” con alcuni esempi che dimostrano un’attività per “imparare” a eseguirla. I ricercatori osservano che il suggerimento della catena di pensieri ha diverse proprietà interessanti come approccio per facilitare il ragionamento nei LLM.
In primo luogo, consentire ai modelli di scomporre i problemi a più fasi in fasi intermedie significa che è possibile allocare calcoli aggiuntivi a problemi che richiedono più fasi di ragionamento. In secondo luogo, questo processo contribuisce alla spiegabilità. In terzo luogo, può (in linea di principio) essere applicato a qualsiasi compito che gli esseri umani possono risolvere tramite il linguaggio. E quarto, può essere elicitato in modelli linguistici standard sufficientemente ampi in modo relativamente semplice.
La ricerca valuta LaMDA e PaLM di Google e GPT-3 di OpenAI. Questi LLM sono valutati sulla base della loro capacità di risolvere compiti inclusi in parole matematiche, ragionamento di buon senso e benchmark di ragionamento simbolico.
Per avere un’idea di come i ricercatori si sono avvicinati alla richiesta di LLM per i compiti a portata di mano, considera la seguente affermazione del problema: “Roger ha 5 palline da tennis. Compra altre 2 lattine di palline da tennis. Ogni lattina ha 3 palline da tennis. Quante palline da tennis ha adesso?”
L’approccio “standard” all’apprendimento guidato a pochi colpi sarebbe quello di fornire direttamente all’LLM la risposta, ad esempio “La risposta è 11”. Il suggerimento della catena di pensieri si traduce nell’espansione della risposta come segue: “Roger ha iniziato con 5 palline. 2 lattine da 3 palline da tennis ciascuna è 6 palline da tennis. 5 + 6 = 11. La risposta è 11”.
Si scopre che più complesso è il compito di interesse (nel senso che richiede un approccio di ragionamento a più fasi), maggiore è la spinta della catena di pensiero. Inoltre, sembra che più grande è il modello, maggiore è il guadagno. Il metodo ha anche dimostrato di superare sempre le prestazioni dei prompt standard a fronte di annotatori diversi, stili di prompt diversi, ecc.
Ciò sembra indicare che l’approccio della catena di pensiero può anche essere utile per addestrare LLM su misura per altre attività per le quali non sono stati progettati esplicitamente. Potrebbe essere molto utile per le applicazioni a valle che sfruttano gli LLM.
3. Un percorso verso l’intelligenza artificiale autonoma
Yann LeCun, capo scienziato di Meta AI, è una delle tre persone (insieme a Geoffrey Hinton di Google e Yoshua Bengio di MILA) che hanno ricevuto il Turing Award per il loro lavoro pionieristico nel deep learning. È consapevole sia dei progressi che delle controversie sull’IA e ha documentato i suoi pensieri su un’agenda per far avanzare il dominio.
LeCun ritiene che il raggiungimento del “livello umano AI” possa essere un obiettivo utile e che la comunità di ricerca stia facendo alcuni progressi in tal senso. Crede anche che l’aumento di scala aiuti, anche se non è sufficiente perché ci mancano ancora alcuni concetti fondamentali.
Ad esempio, non abbiamo ancora un paradigma di apprendimento che consenta alle macchine di imparare come funziona il mondo come fanno molti bambini umani e non umani, osserva LeCun. Cita anche molti altri concetti necessari: prevedere come si può influenzare il mondo attraverso azioni, nonché apprendere rappresentazioni gerarchiche che consentono previsioni a lungo termine, affrontando il fatto che il mondo non è completamente prevedibile. Devono anche essere in grado di prevedere gli effetti di sequenze di azioni in modo da poter ragionare e pianificare e scomporre un’attività complessa in sottoattività.
Sebbene LeCun ritenga di aver identificato una serie di ostacoli da eliminare, osserva anche che non sappiamo come. Pertanto, la soluzione non è solo dietro l’angolo. Di recente, LeCun ha condiviso la sua visione in un documento di sintesi intitolato “A Path Towards Autonomous Machine Intelligence”.
Oltre al ridimensionamento, LeCun condivide le sue opinioni su argomenti come l’apprendimento per rinforzo (“la ricompensa non è sufficiente”) e il ragionamento e la pianificazione (“si riduce all’inferenza, i meccanismi espliciti per la manipolazione dei simboli sono probabilmente non necessari”).
LeCun presenta anche un’architettura concettuale, con componenti per funzioni come la percezione, la memoria a breve termine e un modello mondiale che corrispondono grosso modo al modello prevalente del cervello umano. Nel frattempo, Gadi Singer, vicepresidente e direttore dell’intelligenza artificiale emergente presso Intel Labs, ritiene che l’ultimo decennio sia stato fenomenale per l’intelligenza artificiale , principalmente a causa del deep learning, ma sta emergendo una prossima ondata. Singer pensa che ciò avverrà attraverso una combinazione di componenti: reti neurali, rappresentazione simbolica e ragionamento simbolico e profonda conoscenza, in un’architettura che chiama Thrill-K.
Inoltre, Frank van Harmelen è il ricercatore principale dell’Hybrid Intelligence Center , una collaborazione decennale da 22,7 milioni di dollari (20 milioni di euro) tra ricercatori di sei università olandesi che svolgono ricerche sull’IA che collabora con le persone invece di sostituirle. Ritiene che la combinazione dell’apprendimento automatico con l’IA simbolica sotto forma di grafici della conoscenza molto grandi possa darci una via da seguire e ha pubblicato il lavoro su ” Modelli di progettazione modulari per sistemi di apprendimento e ragionamento ibridi “.
4. Impronta di carbonio dell’apprendimento automatico
Tutto ciò suona visionario, ma per quanto riguarda l’impatto sulla sostenibilità? Come notano i ricercatori di Google e dell’Università di Berkeley , i carichi di lavoro di apprendimento automatico sono diventati rapidamente importanti, ma hanno anche sollevato preoccupazioni sulla loro impronta di carbonio.
In un lavoro pubblicato di recente, i ricercatori di Google condividono le migliori pratiche che secondo loro possono ridurre l’energia di formazione dell’apprendimento automatico fino a 100 volte e le emissioni di CO2 fino a 1000 volte:
I fornitori di data center dovrebbero pubblicare PUE, %CFE e CO2e/MWh per sede in modo che i clienti che si prendono cura possano comprendere e ridurre il loro consumo energetico e l’impronta di carbonio.
I professionisti del riciclaggio dovrebbero formare utilizzando i processori più efficaci nel data center più ecologico a cui hanno accesso, che oggi è spesso nel cloud.
I ricercatori ML dovrebbero continuare a sviluppare modelli ML più efficienti, ad esempio sfruttando la scarsità o integrando il recupero in un modello più piccolo.
Dovrebbero anche pubblicare il loro consumo energetico e la loro impronta di carbonio, sia per promuovere la concorrenza su qualcosa di più della semplice qualità dei modelli, sia per garantire una contabilità accurata del loro lavoro, cosa difficile da fare con precisione post hoc.
Seguendo queste best practice, la ricerca afferma che il consumo energetico complessivo di apprendimento automatico (tra ricerca, sviluppo e produzione) è rimasto stabile a <15% del consumo energetico totale di Google negli ultimi tre anni, anche se il consumo energetico complessivo di Google cresce ogni anno con maggiore utilizzo.
Se l’intero campo dell’apprendimento automatico adottasse le migliori pratiche, le emissioni totali di carbonio derivanti dalla formazione si ridurrebbero, affermano i ricercatori. Tuttavia, notano anche che le emissioni combinate dei modelli di addestramento e servizio devono essere ridotte al minimo.
Nel complesso, questa ricerca tende ad essere ottimista, nonostante riconosca questioni importanti non affrontate a questo punto. Ad ogni modo, fare uno sforzo e aumentare la consapevolezza sono entrambi i benvenuti e potrebbero arrivare a più organizzazioni.
