OpenAI ha annunciato la creazione di CriticGPT, un nuovo modello basato su GPT-4 progettato per valutare e criticare le risposte di ChatGPT. Questo modello assisterà i supervisori umani e i formatori nel migliorare le prestazioni di GPT-4. Secondo OpenAI, l’utilizzo di CriticGPT per rivedere il codice di ChatGPT ha portato a risultati migliori nel 60% dei casi rispetto a chi non ha utilizzato l’assistenza del nuovo critico AI.
Attualmente, CriticGPT è in fase di integrazione nel processo di etichettatura del Reinforcement Learning from Human Feedback (RLHF) di ChatGPT. Questo nuovo strumento aiuterà OpenAI a migliorare l’efficienza nel rilevare e valutare i problemi nei dati di formazione e nelle risposte generate da ChatGPT.
La creazione di CriticGPT si basa su una ricerca pubblicata da OpenAI, la quale evidenzia come i modelli critici possano identificare difetti ed errori nei dati di formazione di ChatGPT. Jan Leike, ex capo della sicurezza di OpenAI, ha contribuito a questa ricerca prima di lasciare l’azienda per fondare Safe Superintelligence Inc. Il documento di ricerca, intitolato “LLM Critics Help Catch LLM Bugs”, ha dimostrato che i modelli critici possono identificare errori che altrimenti sarebbero stati considerati infallibili.
OpenAI ha sottolineato che, man mano che i modelli di intelligenza artificiale diventano più avanzati, gli errori all’interno di questi modelli diventano più sottili e difficili da rilevare. Questo rende fondamentale lo sviluppo di strumenti come CriticGPT per mantenere l’efficacia del RLHF e garantire che i modelli rimangano allineati e accurati.
CriticGPT è stato addestrato in modo simile a ChatGPT, ma con un focus specifico sulla critica degli errori. Anche se non sempre perfetto, CriticGPT ha migliorato la capacità dei formatori di rilevare problemi nelle risposte generate dai modelli. OpenAI continua a lavorare per sviluppare modelli in grado di comprendere e criticare compiti più complessi e ridurre le allucinazioni ancora presenti in CriticGPT.