John Schulman, co-fondatore di OpenAI e leader nello sviluppo di “GPT-4”, ha recentemente discusso dell’importanza di migliorare la capacità di apprendimento dei modelli linguistici di grandi dimensioni (LLM) per superare la carenza di dati. Questo argomento è emerso durante un podcast in cui Schulman è stato ospite insieme al conduttore Dwarkesh Patel.
Nel corso del podcast, Schulman ha affrontato la sfida del “data wall”, che si presenta quando i modelli come GPT-4 sembrano aver già imparato la maggior parte dei dati esistenti. Tuttavia, Schulman ha espresso fiducia nel superare questo problema, sottolineando che i nuovi modelli come GPT-4 hanno una maggiore “efficienza di campionamento”, il che significa che possono ottenere prestazioni paragonabili a modelli precedenti come GPT-2 anche con una quantità inferiore di dati.
Schulman ha anche sottolineato che il CEO di OpenAI, Sam Altman, è determinato a sviluppare l’intelligenza artificiale generale (AGI) a prescindere dalle sfide finanziarie. Si prevede che entro 2 o 3 anni potrebbero emergere agenti di intelligenza artificiale capaci di svolgere alcuni compiti, ma sarà necessario più tempo per sviluppare agenti in grado di sostituire completamente i ruoli umani, come la codifica.
Inoltre, Schulman ha discusso dell’importanza dell’ottimizzazione del “calcolo del tempo di prova” per migliorare il ragionamento, un passo cruciale verso l’AGI. Questo concetto è alla base del modello chiamato “Q Star”, annunciato da OpenAI come una svolta nell’AGI.
Tuttavia, Schulman ha anche sottolineato che l’emergere dell’AGI richiederà non solo miglioramenti tecnologici, ma anche la capacità di affrontare sfide come il recupero dagli errori e la fornitura di un’interfaccia utente per l’interazione umana. Anche se i modelli continueranno a migliorare, sarà difficile raggiungere lo stesso livello di abilità degli esseri umani.