Richard Sutton, professore all’Università dell’Alberta e tra i principali studiosi mondiali di reinforcement learning, insieme al suo ex allievo Khurram Javed ha criticato l’attuale paradigma dell’intelligenza artificiale fondato soprattutto su grandi modelli linguistici e pre-addestramento. Sutton ha presentato anche la nascita della startup Oak Lab, attraverso la quale intende sviluppare una nuova generazione di sistemi basati sul continual learning, cioè sulla capacità di continuare ad apprendere dopo la distribuzione e durante l’interazione con l’ambiente. L’obiettivo indicato è arrivare a sistemi estremamente efficienti, fino alla possibilità di eseguire e aggiornare continuamente un modello da un trilione di parametri con consumi nell’ordine dei 20 watt, paragonabili a quelli del cervello umano.
Uno dei punti centrali della critica riguarda la crescente dipendenza dell’industria da modelli sempre più grandi, enormi quantità di dati di pre-addestramento e risorse computazionali sempre maggiori. Sutton considera in particolare la generazione di dati sintetici una risposta inadeguata al problema dell’esaurimento dei dati disponibili per l’addestramento. Javed sottolinea che anche stabilire se un dato sintetico sia valido finisce per richiedere la supervisione di esperti umani, creando quindi un nuovo collo di bottiglia. La posizione dei due ricercatori si collega alla cosiddetta “Big World Hypothesis”, secondo la quale il mondo reale è troppo vasto e complesso perché simulazioni costruite dall’uomo o dataset sintetici possano rappresentarne completamente la varietà e le dinamiche.
Il limite più importante degli attuali LLM viene individuato nel fatto che, una volta terminato l’addestramento e distribuito il modello, i suoi pesi rimangono sostanzialmente congelati. Il sistema può quindi disporre di competenze molto avanzate, ma durante l’utilizzo non modifica realmente ciò che ha appreso sulla base delle nuove interazioni. Sutton sostiene invece che l’apprendimento debba essere per sua natura continuo e che una componente fondamentale dell’intelligenza consista proprio nella capacità di interagire con l’ambiente, acquisire nuove informazioni e modificare autonomamente i propri parametri nel tempo.
Questo approccio viene collegato anche al problema dell’efficienza energetica. Gli attuali modelli di grandi dimensioni possono richiedere migliaia o decine di migliaia di GPU e infrastrutture con consumi nell’ordine dei megawatt, mentre il cervello umano riesce a svolgere attività cognitive complesse e ad apprendere continuamente con una potenza di circa 20 watt. Javed riconosce che, con le tecnologie di memoria attuali, mantenere un trilione di parametri disponibili entro un budget energetico di 20 watt è molto vicino all’impossibile. Ritiene però che una combinazione di innovazioni algoritmiche e miglioramenti nell’efficienza hardware possa rendere possibile, nell’arco di cinque-dieci anni, un sistema da un trilione di parametri capace di apprendimento continuo con consumi vicini a quella soglia.
Per rendere concretamente possibile il continual learning, Sutton e il suo gruppo stanno lavorando su soluzioni destinate a superare il cosiddetto catastrophic forgetting, il fenomeno per cui una rete neurale che apprende nuove informazioni tende a perdere parte delle conoscenze precedentemente acquisite. Una delle tecniche proposte è il “continual backprop”, un algoritmo di retropropagazione continua associato a meccanismi di ottimizzazione del learning rate. L’approccio prevede di assegnare tassi di apprendimento differenti ai singoli pesi della rete, in modo da preservare le conoscenze consolidate senza impedire ulteriori aggiornamenti. Parallelamente vengono introdotte continuamente nuove unità caratterizzate da una componente casuale, mantenendo una quota della rete sufficientemente plastica da acquisire nuove informazioni.
Oak Lab dovrebbe trasformare questi principi in una nuova architettura di intelligenza artificiale costruita specificamente intorno all’apprendimento continuo. Sutton e Javed attribuiscono inoltre al linguaggio un ruolo più limitato rispetto a quello che gli viene assegnato nell’attuale sviluppo dell’AI: secondo la loro impostazione, le capacità linguistiche rappresenterebbero soltanto circa il 20% dell’intelligenza, mentre il restante 80% dipenderebbe da altre forme di apprendimento, interazione e adattamento. L’obiettivo dichiarato è quindi andare oltre sistemi specializzati principalmente nella manipolazione del linguaggio e costruire forme di intelligenza capaci di apprendere direttamente attraverso l’esperienza.
Sutton è uno dei fondatori teorici del reinforcement learning moderno e ha contribuito a definirne le basi insieme ad Andrew Barto. Ha inoltre lavorato come ricercatore principale presso Google DeepMind e nel 2019 ha pubblicato il saggio “The Bitter Lesson”, nel quale sosteneva che, nel lungo periodo, gli approcci capaci di sfruttare grandi quantità di capacità computazionale per apprendere e cercare autonomamente tendono a prevalere sui sistemi costruiti attraverso l’inserimento manuale di conoscenze umane. La sua attuale posizione sul continual learning viene talvolta descritta come radicale rispetto alla direzione dominante dell’industria, ma Sutton sostiene che sia invece l’attuale settore dell’AI ad avere assunto una direzione insolita concentrandosi eccessivamente su pre-addestramento e modelli statici.
L’importanza attribuita all’interazione con il mondo viene spiegata anche attraverso esempi di intelligenza animale. Sutton osserva che perfino uno scoiattolo, per raggiungere una mangiatoia, deve affrontare ostacoli fisici, valutare traiettorie e costruire strategie astratte adeguate alla situazione. Questo tipo di comportamento evidenzia una forma di intelligenza sensomotoria e adattiva difficilmente rappresentabile attraverso valutazioni basate esclusivamente su linguaggio, matematica o capacità di rispondere a benchmark. Nella visione alla base di Oak Lab, la costruzione di sistemi più avanzati richiede quindi modelli che non si limitino a elaborare conoscenze acquisite in precedenza, ma continuino a modificarsi attraverso l’esperienza e il contatto diretto con un ambiente complesso.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)