Il forte interesse di un insegnante di matematica nell’analizzare i passaggi per risolvere un problema, piuttosto che solo ottenere il risultato, costituisce la base del nuovo approccio di OpenAI alla formazione dei suoi modelli. L’azienda ha recentemente annunciato una nuova tecnica che prevede la supervisione del processo di addestramento, premiando ogni fase del ragionamento corretto anziché focalizzarsi solo sul risultato finale corretto.
L’obiettivo di questo nuovo metodo è creare un modello con una ridotta propensione alle allucinazioni e un maggiore allineamento, come dichiarato dall’azienda stessa. OpenAI ritiene che la mitigazione delle allucinazioni sia un passo cruciale verso la “costruzione di un’AGI allineata”, ma resta da vedere se questi nuovi metodi di addestramento possano avvicinare i modelli ad uno stato di AGI.
OpenAI menziona come sia possibile addestrare i modelli a rilevare le allucinazioni sia attraverso la supervisione del processo, fornendo feedback su ogni singolo passaggio, che tramite la supervisione del risultato, basando il feedback sul risultato finale. L’azienda sostiene di aver migliorato il ragionamento matematico con il metodo precedente, in cui si premia il modello ad ogni passo corretto, permettendo così di imitare il “ragionamento umano” durante la risoluzione di un problema matematico.
L’accento sulle allucinazioni rappresenta un passo avanti nell’impegno dell’azienda per rendere i suoi modelli più robusti. Svariate aziende stanno attivamente lavorando per ridurre le allucinazioni, come dimostra il recente rilascio di NeMo Guardrails da parte di NVIDIA, un toolkit open source che mira a garantire che le applicazioni basate su LLM siano accurate, adeguate e sicure. OpenAI sta mettendo in atto sforzi per migliorare i propri modelli e tenere sotto controllo le allucinazioni con il nuovo metodo di addestramento, che prevede feedback per ogni fase al fine di controllare gli output irrazionali generati dai chatbot.
Il riferimento di OpenAI alla “costruzione di un AGI allineato” suggerisce la visione a lungo termine dell’azienda. In passato, Sam Altman, CEO di OpenAI, ha menzionato l’AGI e il suo impatto futuro più volte. Qualche mese fa, ha presentato una dettagliata roadmap AGI di OpenAI, evidenziando i suoi pericoli. L’azienda ha riconosciuto che l’AGI potrebbe essere utilizzato in modo improprio e portare a conseguenze gravi per la società. Tuttavia, nonostante questi rischi, l’azienda intende sviluppare l’AGI in modo “responsabile” a causa del vasto potenziale e dei benefici che può offrire. L’esperto di intelligenza artificiale Gary Marcus prevede che l’AGI non arriverà presto.
È interessante notare che la posizione di Altman sull’AGI e sul suo sviluppo non è definita in modo netto. In un tweet recente, Altman sembra minimizzare il rischio dell’AGI, prevedendo invece “un tasso di cambiamento molto più rapido” come risultato dell’AGI. Crede che il futuro con l’AGI si svilupperà in modo simile al presente, ma con un’accelerazione significativa in termini di velocità.
In una sorta di ironia, Sam Altman, insieme a scienziati dell’IA come Geoffrey Hinton e Yoshua Bengio, ha firmato una dichiarazione pochi giorni fa, equiparando la minaccia rappresentata dall’IA a quella di una guerra nucleare, considerandola una minaccia di estinzione. Ciò solleva la questione fino a che punto OpenAI spingerà i propri modelli più avanzati verso l’AGI.
La recente dichiarazione si aggiunge alla lettera aperta firmata da oltre 31.000 persone due mesi fa, tra cui Elon Musk, Gary Marcus e altri esperti tecnologici, che chiedeva una pausa nello sviluppo dei modelli di intelligenza artificiale avanzati. È interessante notare che Sam Altman non ha firmato questa lettera. Nonostante Altman abbia confermato un mese fa che l’azienda non sta lavorando a GPT-5, il suo costante coinvolgimento nelle questioni legate alle minacce dell’AGI e nella riduzione della loro portata rende difficile valutare la direzione futura dell’azienda.
OpenAI, spesso criticata per le questioni di sicurezza dei dati e problemi di privacy, sta facendo grandi sforzi per dimostrare che ChatGPT è un chatbot affidabile. L’azienda sta attualmente lavorando per democratizzare l’IA, offrendo sovvenzioni a chiunque possa proporre il miglior metodo per creare un quadro normativo sull’IA. Questo è un ulteriore sforzo per migliorare il sistema e apparire in linea con le norme del mondo attuale.