Il team di Ricerca Fondamentale sull’Intelligenza Artificiale (FAIR) di Meta ha presentato uno studio innovativo che introduce la tecnica denominata “Chain of Continuous Thought” (COCONUT). Questo approccio mira a superare le limitazioni del tradizionale “Chain of Thought” (CoT), in cui il processo di ragionamento esplicito viene generato attraverso token di linguaggio naturale.
Il metodo CoT prevede che i modelli linguistici di grandi dimensioni (LLM) generino soluzioni passo-passo utilizzando il linguaggio naturale. Tuttavia, ricerche neuroscientifiche indicano che durante vari compiti di ragionamento, le aree cerebrali responsabili della comprensione e produzione del linguaggio rimangono in gran parte inattive. Questo suggerisce che il ragionamento umano avviene spesso in modo astratto, senza una traduzione immediata in parole.
COCONUT modifica il processo CoT tradizionale, permettendo al modello di utilizzare il proprio pensiero interno come punto di partenza per il passo successivo, senza convertirlo in parole dopo ogni fase. Ciò libera il ragionamento dallo spazio linguistico, consentendo al sistema di essere ottimizzato end-to-end tramite discesa del gradiente, poiché i pensieri continui sono completamente differenziabili.
I ricercatori di Meta hanno osservato che COCONUT supera CoT in specifici compiti di ragionamento logico che richiedono un sostanziale backtracking durante la pianificazione, utilizzando un minor numero di token di pensiero durante l’inferenza.
Questo sviluppo si inserisce in un contesto di rapidi progressi nel campo dell’intelligenza artificiale. Recentemente, OpenAI ha rilasciato la versione completa del modello o1, che combina tecniche di CoT e apprendimento per rinforzo per migliorare le capacità di ragionamento. Un utente su Reddit ha confrontato il modello o1 Pro con Claude 3.5, notando che il primo eccelle in domande a livello di dottorato.
Parallelamente, Meta ha lanciato Llama 3.3, un modello open source con 70 miliardi di parametri, ottimizzato per l’efficienza e in grado di competere con modelli di dimensioni maggiori. Mark Zuckerberg, CEO di Meta, ha annunciato che le versioni più piccole di Llama 4 saranno disponibili all’inizio del prossimo anno, offrendo nuove modalità, capacità potenziate e un ragionamento più robusto.