Durante la conferenza tecnologica annuale per startup VivaTech a Parigi, il capo di Meta AI Yann LeCun ha dato un consiglio agli studenti interessati a lavorare nell’ambito dell’intelligenza artificiale: evitare di concentrarsi sui grandi modelli linguistici (LLM).
LeCun ha dichiarato: “Se sei uno studente interessato a costruire la prossima generazione di sistemi di intelligenza artificiale, non concentrarti sui LLM. Questo è qualcosa gestito dalle grandi aziende, e non c’è molto che tu possa aggiungere”.
Ha anche suggerito di sviluppare sistemi di intelligenza artificiale di prossima generazione che superino i limiti dei grandi modelli linguistici.
È evidente che da tempo si discute di alternative ai modelli basati sui LLM. Mufeed VH, creatore di Devika, ha recentemente sottolineato l’importanza di allontanarsi dai modelli Transformer e di esplorare nuove architetture come RMKV (un’architettura RNN), sottolineando le sue potenzialità.
LeCun ha sostenuto attivamente l’allontanamento dai LLM, promuovendo anche l’open source per togliere il controllo dalle mani di pochi e garantire la diversità di pensiero.
Tuttavia, nonostante le critiche ai LLM, i modelli di formazione stanno evolvendo. Dan Hou ha parlato di GPT-4o, progettato per comprendere nativamente video e audio, aprendo nuove prospettive nel campo dell’IA. Inoltre, Sam Altman ha affrontato le preoccupazioni riguardanti la formazione dei LLM, suggerendo che i dati non saranno più un problema.