Secondo un rapporto dell’organizzazione di ricerca Epoch AI, se la tecnologia dell’intelligenza artificiale (AI) continua a evolversi come previsto, la capacità di calcolo necessaria per i modelli AI potrebbe aumentare di 10.000 volte entro il 2030.
Il rapporto, citato da SingularityHub, prevede enormi progressi nell’AI nei prossimi dieci anni. Tuttavia, ci sono quattro principali vincoli all’espansione dell’AI. Il primo e più significativo è la potenza energetica. Ad esempio, il modello “Rama 3” di Meta è stato addestrato con 16.000 chip NVIDIA, consumando 27 megawatt (MW) di elettricità, equivalente al fabbisogno annuale di circa 23.000 famiglie americane.
Anche con miglioramenti nell’efficienza energetica, l’addestramento di un modello all’avanguardia nel 2030 richiederà circa 200 volte più energia, ovvero 6 gigawatt (GW), che rappresenta il 30% del consumo totale di energia dei data center.
Per superare questo problema, le aziende AI potrebbero dover utilizzare più centrali elettriche. Ci sono vari scenari per l’approvvigionamento energetico, da una singola centrale da 1 GW fino a 45 GW da fonti distribuite. L’aumento della potenza disponibile potrebbe consentire di addestrare modelli fino a 10.000 volte più potenti rispetto a “GPT-4”.
Per supportare l’addestramento AI, sarà necessario un gran numero di chip, stimato tra 20 e 400 milioni entro il 2030. Tuttavia, potrebbero esserci carenze nei materiali di memoria e imballaggio. La crescita del settore dei chip è veloce, ma la capacità di produzione sarà fondamentale.
Un’altra questione riguarda i dati per l’addestramento. Alcuni esperti temono che i dati possano esaurirsi entro due anni, ma Epoch AI non condivide questa visione. Prevede che, anche con l’aumento delle controversie legali sui diritti d’autore, la disponibilità di dati di alta qualità non rallenterà la crescita dell’AI almeno fino al 2030.
Il tempo necessario per addestrare i modelli aumenta con la loro dimensione. Anche se i modelli potrebbero essere addestrati per utilizzare fino a un milione di volte più potenza rispetto a GPT-4, ci sono colli di bottiglia da considerare. All’aumentare del numero di chip, la potenza potrebbe non aumentare in modo proporzionale.
Epoch AI conclude che entro 10 anni potrebbero essere raggiunti cicli di addestramento fino a 2e29 FLOP, corrispondenti a un’espansione di circa 10.000 volte rispetto ai modelli attuali. Se il trend attuale continua, l’AI si svilupperà in modo significativo, simile al passaggio da “GPT-2” nel 2019 a “GPT-4” nel 2023. Tuttavia, affinché questo progresso sia possibile, è necessaria una convinzione sociale che supporti gli investimenti nel settore, anche quando questi superano i ritorni.