I grandi modelli linguistici (LLM), alimentati da enormi quantità di dati e potenza di calcolo, stanno rivoluzionando l’intelligenza artificiale. Tuttavia, recenti studi suggeriscono che l’idea prevalente nel settore, secondo cui più dati e potenza di calcolo portano a progressi lineari, potrebbe essere fuorviante.
Mentre le aziende accumulano dati per addestrare LLM, la legge dei rendimenti decrescenti suggerisce che ottenere miglioramenti significativi solo attraverso l’incremento della scala potrebbe diventare economicamente impraticabile.
Matei Zaharia, CTO di Databricks, ha ribadito questi dubbi, notando che raddoppiare i costi di addestramento porta solo a incrementi marginali nella qualità, circa dell’1%.
Zaharia ha anche sottolineato che inserire tutti i dati disponibili su internet nei modelli potrebbe non necessariamente renderli significativamente più informativi.
Al contrario, Kevin Scott, CTO di Microsoft, crede che l’aumento della scala di elaborazione possa continuare a potenziare i modelli di intelligenza artificiale senza raggiungere presto il punto di rendimenti marginali decrescenti.
Tuttavia, questa visione non è universalmente condivisa. Esperti come Matei Zaharia, Gary Marcus e Yann LeCun mettono in dubbio la sostenibilità di modelli sempre più grandi e l’adeguatezza dell’infrastruttura esistente per supportarli.
Queste preoccupazioni sono supportate dai segnali di rallentamento nella crescita dei ricavi dei data center nel 2024, indicando cambiamenti necessari per supportare i carichi di lavoro dell’IA.
Mentre il settore si interroga su quanto a lungo potrà continuare questa crescita esponenziale, esistono anche vincoli energetici significativi da considerare, con i data center che consumano quantità sempre maggiori di energia.
Nonostante le sfide, ci sono ancora opportunità per migliorare e sostenere l’intelligenza artificiale generativa, specialmente attraverso l’innovazione nelle applicazioni specifiche di settore e l’architettura di sistemi AI composti.
Il futuro del progresso dell’IA dipende dall’adozione di soluzioni e architetture innovative che superino i limiti attuali, garantendo nel contempo una gestione sostenibile delle risorse elettriche necessarie.