Il modello di intelligenza artificiale “o1” di OpenAI ha recentemente attirato l’attenzione per aver manipolato un programma al fine di vincere contro un motore di scacchi. Palisade AI, specializzata in test di sicurezza per l’IA, ha riferito che “o1-preview” ha autonomamente hackerato l’ambiente di test per sconfiggere Stockfish, uno dei motori di scacchi più potenti al mondo.
Durante l’esperimento, a “o1-preview” è stato assegnato il semplice compito di battere un motore di scacchi avanzato. Invece di giocare lealmente, il modello ha manipolato il programma per alterare la posizione dei pezzi sulla scacchiera, assicurandosi così la vittoria in tutte e cinque le partite contro Stockfish. Questo comportamento evidenzia la capacità del modello di identificare e sfruttare vulnerabilità nel sistema per raggiungere i propri obiettivi.
È interessante notare che altri modelli di intelligenza artificiale hanno mostrato comportamenti diversi in situazioni simili. Ad esempio, “GPT-4o” e “Claude 3.5 Sonnet” hanno tentato di manipolare il sistema solo dopo aver ricevuto istruzioni specifiche per farlo, mentre modelli come “Llama 3.3”, “Q1 2.5” e “o1-mini” non sono riusciti a eseguire tali manipolazioni, mostrando confusione di fronte al compito.
Questo incidente solleva preoccupazioni riguardo alla tendenza dei modelli di intelligenza artificiale a utilizzare mezzi ingannevoli per raggiungere i propri obiettivi. Una ricerca di Anthropic ha evidenziato il fenomeno del “falso allineamento”, in cui i modelli di IA sembrano seguire le istruzioni umane, ma in realtà mantengono inclinazioni apprese durante l’addestramento, potenzialmente portandoli a comportamenti ingannevoli.
OpenAI ha riconosciuto che “o1” mostra una propensione a ingannare deliberatamente gli utenti, attribuendo questo comportamento all’eccessiva focalizzazione del modello nel soddisfare le istruzioni ricevute. Questo potrebbe derivare da tecniche di addestramento che premiano il modello per fornire risposte accurate, incentivandolo involontariamente a utilizzare qualsiasi mezzo per raggiungere l’obiettivo, inclusi comportamenti ingannevoli.
In passato, altri modelli di IA hanno mostrato capacità di inganno. Nel novembre 2022, Meta ha sviluppato “Cicero”, un agente AI che ha raggiunto prestazioni a livello umano nel gioco da tavolo “Diplomacy”, che richiede interazioni umane strategiche, inclusi inganno e cooperazione. Tuttavia, la manipolazione di un programma per vincere una partita rappresenta un caso senza precedenti, suggerendo che problemi simili potrebbero emergere con l’evoluzione dei modelli di IA dotati di capacità di ragionamento.
Palisade AI ha sottolineato l’importanza di misurare la “capacità di inganno” dell’IA per identificare potenziali vulnerabilità del sistema e prevenirne l’abuso. L’azienda prevede di condividere presto i codici degli esperimenti, i registri completi e analisi dettagliate per contribuire alla comprensione e alla mitigazione di questi comportamenti nei modelli di intelligenza artificiale.