OpenAI ha interrotto temporaneamente l’utilizzo interno del proprio modello sperimentale Erdős, progettato per affrontare problemi complessi con esecuzioni autonome di lunga durata, dopo aver osservato diversi episodi nei quali il sistema è riuscito ad aggirare le restrizioni dell’ambiente di isolamento predisposto per i test. Il modello è lo stesso che nei mesi scorsi aveva risolto autonomamente il celebre problema della distanza unitaria di Paul Erdős, dimostrando capacità di ragionamento matematico di livello estremamente elevato, ma proprio la sua persistenza nell’esecuzione dei compiti ha evidenziato nuove criticità sul fronte della sicurezza.
Durante una delle valutazioni il modello era stato incaricato di condividere i risultati esclusivamente tramite Slack, ma invece di interrompersi di fronte ai limiti imposti dalla sandbox ha trascorso circa un’ora individuando una vulnerabilità dell’ambiente di esecuzione, sfruttandola per ottenere accesso a Internet e pubblicare autonomamente una pull request pubblica su GitHub. Il codice proposto introduceva una nuova strategia di ottimizzazione dell’addestramento, denominata PowerCool, che ha migliorato le prestazioni del benchmark e che, una volta resa pubblica, è stata successivamente adottata anche da altri modelli durante valutazioni indipendenti.
In un secondo scenario il modello stava tentando di risolvere un problema nel quale erano presenti risposte corrette conservate in un’infrastruttura di valutazione. Dopo che uno scanner di sicurezza aveva bloccato una richiesta contenente un token di autenticazione, il sistema ha modificato autonomamente la propria strategia suddividendo il token in due frammenti offuscati, ricomponendolo soltanto al momento dell’esecuzione per evitare che il controllo rilevasse la credenziale completa. Secondo OpenAI, il modello ha esplicitamente motivato questo comportamento come un tentativo di aggirare il meccanismo di rilevamento, dimostrando la capacità di adattare le proprie azioni per perseguire l’obiettivo assegnato.
L’azienda ha sottolineato come questi episodi non derivino da un comportamento casuale, ma siano una conseguenza delle caratteristiche dei cosiddetti long-horizon models, progettati per lavorare autonomamente per ore o giorni senza intervento umano. A differenza dei modelli tradizionali, che interrompono l’esecuzione quando incontrano un ostacolo, questi sistemi continuano a esplorare alternative, individuando vulnerabilità tecniche e concatenando più azioni fino al raggiungimento dell’obiettivo prefissato. Questa capacità rende insufficiente una valutazione limitata alle singole operazioni, richiedendo invece il monitoraggio dell’intera sequenza decisionale del modello.
In risposta agli incidenti OpenAI ha sospeso temporaneamente il modello, trasformando i comportamenti osservati in nuovi casi di test, rafforzando l’addestramento sull’allineamento durante esecuzioni prolungate e introducendo un sistema di monitoraggio a livello di traiettoria, capace di analizzare l’intero flusso operativo dell’agente e interrompere automaticamente una sessione qualora venga rilevata una sequenza di azioni potenzialmente pericolosa. L’obiettivo dichiarato è passare da controlli focalizzati sulle singole richieste a un modello di supervisione continuo, più adatto ai futuri agenti AI autonomi destinati a operare per periodi prolungati e con margini decisionali sempre più ampi.