Durante una conversazione con il fondatore e CEO di Nvidia, Jensen Huang, al GTC, il co-fondatore di OpenAI, Ilya Sutskever, ha discusso della complessità e del funzionamento di ChatGPT e GPT-4. Contrariamente alla percezione popolare, Sutskever ha spiegato che ChatGPT sta facendo molto di più del semplice apprendimento superficiale delle correlazioni statistiche e che “il testo è una proiezione del mondo”. Questo significa che l’IA ha appreso un modello mondiale nel tentativo di prevedere con precisione la “parola successiva”, consumando molti testi diversi da Internet.
Sutskever ha sottolineato che per imparare a comprimere le correlazioni statistiche nel testo, la rete neurale apprende una rappresentazione del processo che ha prodotto il testo, che è una proiezione del mondo. Questa rappresentazione compressa, astratta e utilizzabile appresa dalla previsione accurata della parola successiva, include sempre più aspetti del mondo, delle persone, delle condizioni umane, delle loro speranze, sogni, motivazioni e interazioni, e delle situazioni in cui ci troviamo adesso.
La dichiarazione di Sutskever arriva poche settimane dopo che il celebre linguista Noam Chomsky ha criticato i LLM molto popolari, definendoli “meraviglie dell’apprendimento automatico” che generano semplicemente “output statisticamente probabili” che hanno un “linguaggio apparentemente umano”.
Tuttavia, un gruppo di ricercatori di Microsoft ha scritto un documento intitolato “Sparks of Artificial General Intelligence: Early experiments with GPT-4”, in cui affermano che GPT-4 può risolvere compiti nuovi e difficili che abbracciano matematica, programmazione, visione, medicina, legge, psicologia e altro, senza bisogno di alcun suggerimento speciale. Inoltre, le prestazioni di GPT-4 sono sorprendentemente vicine a quelle a livello umano e spesso superano di gran lunga i modelli precedenti come ChatGPT.
Secondo i ricercatori, GPT-4 potrebbe essere visto come una prima versione di AGI, dato che ha un’ampiezza e una profondità di capacità che lo rendono una versione iniziale ma ancora incompleta di un sistema di intelligenza artificiale generale. Il documento di ricerca ha dimostrato che GPT-4 può affrontare compiti stimolanti e originali in una vasta gamma di campi senza richiedere alcun suggerimento speciale, oltre alla sua esperienza nel linguaggio.
Tuttavia, esperti come Yann LeCun, capo scienziato AI presso Meta, non sono d’accordo con la valutazione di Ilya. LeCun ritiene che “i modelli linguistici di grandi dimensioni non abbiano idea della realtà sottostante descritta dal linguaggio” e che la maggior parte della conoscenza umana non sia linguistica. Anche Gary Marcus e altri scienziati di intelligenza artificiale concordano con l’idea che gli LLM non comprendono il mondo in modo affidabile.
In sintesi, mentre ci sono opinioni contrastanti sull’effettiva comprensione del mondo da parte dei modelli linguistici di grandi dimensioni come ChatGPT e GPT-4, è chiaro che questi modelli stanno dimostrando un’ampia gamma di capacità in diversi campi e che l’IA sta progredendo a passi da gigante verso un sistema di intelligenza artificiale generale. Tuttavia, è importante continuare a fare ricerca e sviluppo per migliorare la comprensione dei modelli e la loro applicazione per migliorare la vita umana.