Nonostante i notevoli progressi compiuti nell’intelligenza artificiale nell’ultimo decennio, tra cui la sconfitta di campioni umani in giochi strategici come gli scacchi e il GO e la previsione della struttura 3D delle proteine, l’adozione diffusa di modelli linguistici di grandi dimensioni (LLM) rappresenta un cambiamento di paradigma. Questi modelli, pronti a rivoluzionare le interazioni uomo-computer, sono diventati fondamentali in vari settori, tra cui istruzione, servizi clienti, recupero di informazioni, sviluppo software, media e sanità. Tuttavia, nonostante i benefici tecnologici, sorge un notevole problema ambientale.
Il processo di formazione e utilizzo degli LLM comporta un’enorme quantità di energia, con un impatto significativo sull’ambiente, caratterizzato da un aumento delle emissioni di anidride carbonica e dei gas serra. Uno studio recente del College of Information and Computer Sciences dell’Università del Massachusetts Amherst ha rivelato che durante la formazione, gli LLM possono emettere oltre 626.000 libbre di anidride carbonica, equivalenti approssimativamente alle emissioni di cinque automobili durante la loro intera vita. Hugging Face, una startup di intelligenza artificiale, ha calcolato che la formazione di BLOOM, un grande modello linguistico lanciato all’inizio dell’anno, ha portato a 25 tonnellate di emissioni di anidride carbonica. Allo stesso modo, il modello di intelligenza artificiale di Facebook, Meena, accumula un’impronta di carbonio pari all’uso di un’auto per oltre 240.000 miglia durante il processo di formazione.
Non solo la formazione degli LLM, ma anche la domanda di cloud computing, fondamentale per l’implementazione di questi modelli, contribuisce oggi a produrre più emissioni di carbonio dell’intero settore dell’aviazione. Un singolo data center può consumare la stessa energia di 50.000 case. Inoltre, un altro studio ha evidenziato che l’addestramento di un unico grande modello linguistico può rilasciare tanta CO2 quanto cinque automobili utilizzano in tutta la loro vita. Le previsioni indicano che le emissioni dovute all’intelligenza artificiale potrebbero aumentare del 300% entro il 2025, mettendo in luce l’urgente necessità di bilanciare i progressi dell’IA con la responsabilità ambientale e di promuovere iniziative per rendere l’IA più sostenibile dal punto di vista ambientale. Per affrontare questo impatto negativo, l’Intelligenza Artificiale Sostenibile sta emergendo come un campo di studio cruciale.
L’Intelligenza Artificiale Sostenibile rappresenta un cambio di paradigma nello sviluppo e nell’implementazione dei sistemi di intelligenza artificiale, concentrandosi sulla minimizzazione dell’impatto ambientale, sulle considerazioni etiche e sui benefici sociali a lungo termine. Questo approccio mira a creare sistemi intelligenti che siano efficienti dal punto di vista energetico, responsabili dal punto di vista ambientale e allineati ai valori umani. L’Intelligenza Artificiale Sostenibile si concentra sull’uso di energia pulita per i calcoli, su algoritmi intelligenti a basso consumo energetico e sul rispetto di linee guida etiche per garantire decisioni giuste e trasparenti. È importante sottolineare che esiste una differenza tra l’IA per la sostenibilità e l’IA sostenibile; il primo potrebbe comportare l’utilizzo dell’IA per ottimizzare i processi esistenti senza necessariamente considerare le conseguenze ambientali o sociali, mentre il secondo integra attivamente i principi di sostenibilità in ogni fase dello sviluppo dell’IA, dalla progettazione all’implementazione, per creare un impatto positivo e duraturo sulla società e sull’ambiente.
Nel perseguimento dell’Intelligenza Artificiale Sostenibile, Microsoft sta sviluppando Small Language Models (SLM) per allinearsi alle capacità dei Large Language Models (LLM). In questo sforzo, hanno recentemente introdotto Orca-2, progettato per ragionare come GPT-4. A differenza del suo predecessore, Orca-1, che vantava 13 miliardi di parametri, Orca-2 ne contiene 7 miliardi, utilizzando due tecniche chiave.
Ottimizzazione delle istruzioni: Orca-2 migliora imparando dagli esempi, migliorando la qualità dei contenuti, le capacità di zero-shot e le capacità di ragionamento in varie attività.
Ottimizzazione della spiegazione: riconoscendo le limitazioni nell’ottimizzazione delle istruzioni, Orca-2 introduce l’ottimizzazione della spiegazione. Ciò comporta la creazione di spiegazioni dettagliate per i modelli degli insegnanti, l’arricchimento dei segnali di ragionamento e il miglioramento della comprensione generale.
Orca-2 utilizza queste tecniche per ottenere un ragionamento altamente efficiente, paragonabile a quello ottenuto dagli LLM con molti più parametri. L’idea principale è consentire al modello di capire il modo migliore per risolvere un problema, sia dando una risposta rapida che riflettendo passo dopo passo. Microsoft chiama questo “ragionamento cauto”.
Per addestrare Orca-2, Microsoft ha creato un nuovo set di dati di addestramento utilizzando le annotazioni FLAN, Orca-1 e il set di dati Orca-2. Hanno iniziato con domande semplici, aggiungendone poi alcune più complesse e utilizzando i dati dei modelli parlanti per renderlo ancora più intelligente.
Orca-2 è stato sottoposto a una valutazione approfondita, che ha coperto aspetti come il ragionamento, il completamento del testo, il radicamento, la veridicità e la sicurezza. I risultati mostrano il potenziale di migliorare il ragionamento SLM attraverso una formazione specializzata sui dati sintetici. Nonostante alcune limitazioni, i modelli Orca-2 sembrano promettenti per futuri miglioramenti nel ragionamento, nel controllo e nella sicurezza, dimostrando l’efficacia dell’applicazione strategica dei dati sintetici nel perfezionamento del modello dopo l’addestramento.
Orca-2 rappresenta un passo significativo verso l’Intelligenza Artificiale Sostenibile, sfidando la convinzione prevalente che solo i modelli più grandi, con il loro sostanziale consumo di energia, possano davvero far avanzare le capacità dell’Intelligenza Artificiale. Questo piccolo modello linguistico apre una prospettiva alternativa, suggerendo che raggiungere l’eccellenza nei modelli linguistici non richiede necessariamente enormi set di dati e una vasta potenza di calcolo. Sottolinea invece l’importanza della progettazione intelligente e dell’integrazione efficace.
Questa svolta apre nuove possibilità, spostando l’attenzione dall’ampliamento semplice dell’Intelligenza Artificiale a concentrarsi su come la progettiamo. Questo rappresenta un passo cruciale nel rendere l’Intelligenza Artificiale avanzata più accessibile a un pubblico più ampio, garantendo che l’innovazione sia inclusiva e raggiunga una gamma più ampia di persone e organizzazioni.
Orca-2 di Microsoft ha il potenziale per avere un impatto significativo sullo sviluppo dei futuri modelli linguistici. Che si tratti di migliorare le attività legate all’elaborazione del linguaggio naturale o di abilitare applicazioni di Intelligenza Artificiale più sofisticate in vari settori, questi modelli più piccoli sono pronti a portare cambiamenti positivi sostanziali. Inoltre, agiscono come pionieri nella promozione di pratiche di Intelligenza Artificiale più sostenibili, allineando il progresso tecnologico con l’impegno verso la responsabilità ambientale.
Orca-2 di Microsoft rappresenta un passo rivoluzionario verso l’Intelligenza Artificiale sostenibile, sfidando la convinzione che solo i modelli di grandi dimensioni possano far progredire l’Intelligenza Artificiale. Dando priorità alla progettazione intelligente rispetto alle dimensioni, Orca-2 apre nuove possibilità, offrendo un approccio più inclusivo e responsabile dal punto di vista ambientale allo sviluppo avanzato dell’Intelligenza Artificiale. Questo cambiamento segna un passo significativo verso un nuovo paradigma nella progettazione di sistemi intelligenti.