È uno scherzo di vecchia data tra gli esperti del settore che mentre l’intelligenza artificiale può elaborare enormi quantità di dati, scrivere codici che eseguono macchinari enormi o persino scrivere un libro, fallirebbe comunque i compiti che un bambino umano di tre anni può svolgere. Questo è anche il motivo per cui i sistemi di intelligenza artificiale hanno ancora una lunga strada da tracciare per essere definiti veramente “intelligenti”.
Hubert Dreyfus, un noto filosofo, è stato uno dei critici più accaniti della sopravvalutazione delle capacità del computer/IA. Ha scritto tre libri: Alchemy and AI, What Computers Can’t Do e Mind over Machine, in cui ha valutato criticamente i progressi dell’AI. Uno dei suoi argomenti era che gli esseri umani imparano dalla conoscenza implicita e tale capacità non può essere incorporata in una macchina.
Detto questo, ci sono stati enormi progressi nello sforzo umano di allontanarsi dall’IA ristretta verso l’Ambita IA generale. Molti nuovi modelli come GPT 3, DALL.E, LaMDA, Switch Transformer, ecc., Sono estremamente potenti, ingoiando miliardi e persino trilioni di parametri per il multitasking. Ma il fatto è che siamo ancora lontani dal raggiungere l’obiettivo.
La ricerca dell’IA generale
I potenti modelli linguistici e i più recenti modelli di generazione da testo a immagine zero-shot stanno tutti marciando molto velocemente verso l’obiettivo prefissato di eseguire attività per le quali non sono stati addestrati. Ognuno sta superando in astuzia il precedente per le sue applicazioni e usi.
DeepMind, uno dei più noti istituti di ricerca sull’intelligenza artificiale (di proprietà di Alphabet), ha centrato il suo obiettivo finale nel raggiungimento dell’AGI. È interessante notare che quest’anno il laboratorio ha pubblicato un documento intitolato “La ricompensa è sufficiente “, in cui gli autori hanno suggerito che tecniche come la massimizzazione della ricompensa possono aiutare le macchine a sviluppare comportamenti che mostrano abilità associate all’intelligenza. Hanno inoltre concluso che la massimizzazione della ricompensa e l’apprendimento per rinforzo, in estensione, possono aiutare a raggiungere l’intelligenza artificiale generale.
Diamo un’occhiata più da vicino al GPT-3 creato dal concorrente più vicino di DeepMind, OpenAI, che ha creato un grande fermento nella comunità scientifica. È stato ampiamente considerato un enorme passo avanti nel raggiungimento dell’IA generale.
GPT-3 sfrutta la PNL per imitare le conversazioni umane. È stato addestrato su uno dei più grandi set di dati con 175 miliardi di parametri, rendendolo così potente da poter completare un paragrafo basato su poche parole di input. Inoltre, a differenza dei tipici modelli di intelligenza artificiale ristretta, GPT-3 può eseguire attività oltre alla generazione di testo simile a quello umano, come la traduzione tra le lingue, le attività di comprensione della lettura senza input aggiuntivi e persino la scrittura di codici!
D’altra parte, GPT-3 non ha “buon senso”. Impara quasi ciecamente dal materiale su cui è stato addestrato, scroccato da diverse pagine su Internet. A causa della sua mancanza di buon senso, GPT-3 può raccogliere idee prevenute, razziste e sessiste da Internet e rielaborarle [Nota: l’IA aperta sta lavorando per mitigare pregiudizi e tossicità in molti modi, ma non è ancora stata eliminata]. Inoltre, il trasformatore manca di ragionamento causale e non è in grado di generalizzare correttamente oltre il set di allenamento, il che lo rende lontano dall’IA generale.
Ma, come sappiamo, questa ricerca continuerà. Questo viaggio è pieno di miliardi di input computazionali, migliaia di tonnellate di consumo energetico e miliardi di dollari di spese per costruire e addestrare questi modelli AGI. La maggior parte ignora o non comprende le sue conseguenze sull’ambiente.
L’impronta di carbonio di AI
Il cambiamento climatico è diventato una crisi fondamentale del nostro tempo e l’IA svolge un duplice ruolo. Può aiutare a ridurre gli effetti della crisi climatica e controllarla attraverso soluzioni come la progettazione di reti intelligenti o lo sviluppo di infrastrutture a basse emissioni. Ma, d’altra parte, può portare alla rovina di tutti gli sforzi per la sostenibilità, rendendo difficile ignorare l’entità delle sue emissioni di carbonio.
Le stime suggeriscono che l’addestramento di una singola IA genera circa 300 tonnellate di anidride carbonica, equivalenti a cinque volte le emissioni nell’arco della vita di un’auto media. L’intelligenza artificiale richiede maggiori poteri di calcolo e i data center che archiviano grandi quantità di dati dell’intelligenza artificiale consumano elevati livelli di energia. Le GPU ad alta potenza necessarie per addestrare sistemi di intelligenza artificiale avanzati devono funzionare per giorni alla volta, utilizzando tonnellate di energia e generando emissioni di carbonio. Questo sta aumentando il prezzo etico dell’esecuzione di un modello di intelligenza artificiale.
Il prezzo del GPT-3 e dei suoi successori
GPT-3 è uno dei più grandi modelli linguistici. Il processo di ricerca dell’architettura neurale per l’addestramento dei modelli di trasformatore generale richiede più di 270.000 ore di addestramento e 3000 volte l’energia, tanto che l’addestramento deve essere suddiviso in dozzine di chip e suddiviso in mesi. Se l’input è così massiccio, l’output è peggiore. Uno studio del 2019 ha rilevato che l’addestramento di un sistema di elaborazione del linguaggio AI genera tra 1.400 e 78.000 libbre di emissioni. Ciò equivale a 125 voli di andata e ritorno tra New York e Pechino.
Certo, è migliore in termini di prestazioni, ma a quale costo? Carbontracker ha suggerito che l’addestramento di GPT-3 solo una volta richiede la stessa quantità di energia utilizzata da 126 case in Danimarca ogni anno. È anche lo stesso che guidare un’auto sulla luna e ritorno.
GPT-3 non è l’unico modello linguistico di grandi dimensioni oggi sul mercato. Microsoft, Google e Facebook stanno lavorando e hanno pubblicato documenti su modelli più complessi che coinvolgono immagini e ricerche potenti che vanno ben oltre il linguaggio, per creare modelli multi-tasking e multimodali.
OpenAI ha identificato come, dal 2012, la quantità di potenza di calcolo nell’addestramento di modelli di grandi dimensioni sia aumentata in modo esponenziale con un tempo di raddoppio di 3,4 mesi. Se questo è vero, si possono solo immaginare il consumo di energia e le emissioni di carbonio fino a raggiungere AGI.
Ripensare il nostro approccio verso AGI
Se questa tendenza continua, l’intelligenza artificiale potrebbe diventare uno dei contributori più significativi al cambiamento climatico.
Ciò comporta l’utilizzo di tecniche efficienti per l’elaborazione dei dati o modelli di ricerca e addestramento su hardware specializzato, come gli acceleratori di intelligenza artificiale, che sono più efficienti per watt rispetto ai chip generici. Google ha pubblicato il documento su Switch Transformers che utilizzano reti neurali sparse più efficienti, facilitando la creazione di modelli più grandi senza aumentare i costi computazionali. Ricercatori come Lasse Wolff Anthony, che ha lavorato sull’utilizzo dell’energia AI , hanno suggerito che le grandi aziende addestrano i loro modelli in paesi più verdi come l’Estonia o la Svezia. Data la disponibilità di forniture energetiche più ecologiche, l’impronta di carbonio di un modello può essere ridotta di oltre 60 volte.
Le soluzioni per ora non sono molte, ma si sta cercando di escogitarle. È importante che ne parliamo. Mentre l’innovazione è la base su cui avanza una società, dobbiamo anche essere consapevoli del costo che tale ‘innovazione’ comporta. La necessità dell’ora è trovare un equilibrio tra i due.
