Il CEO di OpenAI, Sam Altman, ha dichiarato che l’era dei modelli di intelligenza artificiale sempre più grandi sta volgendo al termine. Questo perché i costi elevati e i rendimenti decrescenti frenano l’inesorabile scalabilità che ha definito il progresso nel settore. Altman ha suggerito che ulteriori progressi non verrebbero da “modelli giganti e giganti”. Secondo Wired, la spesa esorbitante e insostenibile per l’addestramento e l’esecuzione dei potenti processi grafici necessari per i modelli di linguaggio di grandi dimensioni (LLM) è uno dei principali driver del perno da “il ridimensionamento è tutto ciò di cui hai bisogno”.
L’acquisto di migliaia di GPU da parte di società come Tesla e Twitter per lo sviluppo di nuove tecnologie di intelligenza artificiale, come confermato da Elon Musk, indica che l’accesso alle GPU è attualmente un fattore determinante per il settore. Tuttavia, l’accesso è costoso e difficile da ottenere, anche per i fornitori di cloud hyperscaler come Microsoft, Google e Amazon. Pertanto, le aziende stanno effettivamente riservando l’accesso alle GPU, e anche le tasche di OpenAI stanno iniziando a guardare in nuove direzioni.
Altman ha suggerito che i progressi futuri verrebbero dal miglioramento delle architetture dei modelli, dall’efficienza dei dati e dalle tecniche algoritmiche. Inoltre, ha dichiarato che la dimensione dei modelli non dovrebbe essere la sola misura della loro qualità. Alcuni nel settore non concordano con l’affermazione di Altman, poiché ritengono che sia radicata nell’osservazione tecnica dell’ultimo anno che potremmo aver realizzato modelli più grandi del necessario.
In sintesi, l’era dei modelli di intelligenza artificiale sempre più grandi sta volgendo al termine a causa dei costi elevati e dei rendimenti decrescenti, e l’accesso alle GPU è diventato un fattore critico per il settore. Tuttavia, il futuro della tecnologia dell’IA verrebbe dal miglioramento delle architetture dei modelli, dall’efficienza dei dati e dalle tecniche algoritmiche.
L’industria dell’IA sta quindi cercando nuove soluzioni per superare gli ostacoli rappresentati dalla limitazione dei costi e dell’accesso alle risorse. Ci sono state proposte come l’utilizzo di algoritmi di apprendimento che richiedono meno dati, la riduzione del numero di parametri utilizzati nei modelli e il miglioramento delle tecniche di compressione dei dati.
Inoltre, l’attenzione si sta spostando sempre più verso l’ottimizzazione dell’hardware esistente invece di cercare di sviluppare hardware sempre più potente. Ad esempio, ci sono stati tentativi di utilizzare le FPGA (Field Programmable Gate Arrays) per l’addestramento di modelli di intelligenza artificiale, che potrebbero essere una soluzione meno costosa rispetto alle GPU.
In definitiva, la crisi delle GPU potrebbe essere vista come un’opportunità per l’industria dell’IA per esplorare nuove soluzioni e innovazioni tecnologiche per superare le sfide dell’addestramento dei modelli di intelligenza artificiale. Nonostante ciò, il ruolo delle GPU rimane ancora essenziale per l’attuale sviluppo dell’IA e la ricerca di alternative richiederà tempo e risorse considerevoli.