L’intelligenza artificiale generativa sta rivoluzionando numerosi settori, dalla medicina all’istruzione, dalla finanza all’arte, fino allo sport. Questi progressi sono possibili grazie alla capacità avanzata dell’IA di apprendere da enormi quantità di dati e di costruire modelli complessi con miliardi di parametri. Sebbene questi sviluppi abbiano portato a scoperte scientifiche notevoli, nuove opportunità di business e una crescita industriale senza precedenti, ci sono costi significativi associati, sia finanziari che ambientali.
Il training di modelli di intelligenza artificiale generativa richiede una potenza computazionale immensa, che si traduce in un elevato consumo di energia e in un notevole impatto ambientale. La formazione di questi modelli consuma enormi quantità di elettricità e ha un’impronta di carbonio considerevole.
Addestrare modelli di intelligenza artificiale di grande scala è costoso e impegnativo. Ad esempio, il costo per addestrare un modello come GPT-3 di OpenAI, che ha 175 miliardi di parametri, può arrivare a circa 4,6 milioni di dollari. Si stima che l’addestramento di ChatGPT-4 sia costato circa 100 milioni di dollari. Queste spese derivano dalla necessità di risorse computazionali massicce e di lunghi tempi di formazione.
Inoltre, il consumo energetico è molto elevato. I data center, dove vengono eseguiti questi addestramenti, consumano circa 200 terawattora di elettricità all’anno, rappresentando circa l’1% della domanda globale di energia. Un rapporto McKinsey prevede che il consumo energetico dei data center negli Stati Uniti potrebbe raddoppiare entro il 2030, richiedendo una produzione di energia equivalente a quella di nove dighe di Hoover.
L’impronta ecologica è altrettanto preoccupante. Studi hanno dimostrato che addestrare un grande modello di IA può emettere una quantità di CO2 equivalente a quella prodotta da cinque automobili nel corso della loro vita. Questo elevato consumo energetico contribuisce significativamente alle emissioni di gas serra e al cambiamento climatico.
Di fronte a queste sfide, Google DeepMind ha introdotto un nuovo algoritmo chiamato JEST (Joint Example Selection Technique), che rappresenta un passo avanti significativo nel migliorare l’efficienza dell’addestramento dell’IA generativa. JEST è progettato per essere 13 volte più veloce e dieci volte più efficiente dal punto di vista energetico rispetto alle tecniche attuali.
Per capire come funziona JEST, immagina l’addestramento dell’IA come la risoluzione di un complesso puzzle, dove ogni pezzo di dati è fondamentale. JEST agisce come un esperto risolutore di puzzle, identificando e selezionando i pezzi di dati più importanti. Utilizza un modello di IA più piccolo per valutare la qualità dei batch di dati e sceglie quelli che offrono il massimo valore per l’addestramento.
In particolare, JEST utilizza una tecnica chiamata apprendimento contrastivo multimodale. Questo metodo confronta e apprende la relazione tra diversi tipi di dati, come testi e immagini. JEST seleziona i batch di dati più informativi e rappresentativi, accelerando il processo di addestramento e migliorando l’efficienza complessiva.
Le implicazioni di JEST vanno oltre la semplice accelerazione del processo di formazione e la riduzione dei costi. Ecco alcune delle potenziali aree di impatto:
- Prestazioni e Precisione Migliorate: JEST permette di addestrare modelli con input di alta qualità, migliorando così la loro accuratezza e robustezza. Questo è particolarmente importante per applicazioni critiche come la diagnostica medica e i sistemi autonomi.
- Riduzione delle Distorsioni nei Dati: JEST aiuta a selezionare dati diversi e rappresentativi, riducendo le distorsioni e garantendo che i modelli di IA non siano influenzati da pregiudizi nei dati di addestramento.
- Facilitare l’Innovazione: Riducendo il tempo e le risorse necessari per l’addestramento, JEST apre la strada a più ricercatori e innovatori, promuovendo uno sviluppo più ampio e inclusivo dell’IA.
- Promuovere uno Sviluppo Inclusivo: La selezione intelligente dei dati di JEST incoraggia pratiche più inclusive, aiutando a garantire che le tecnologie di IA siano sviluppate in modo equo e responsabile.