Impossible Research ha presentato Schema, un nuovo framework di esecuzione per agenti AI che ha raggiunto un’efficienza relativa rispetto agli esseri umani del 98,98% sul set pubblico di ARC-AGI-3. Il risultato è stato ottenuto senza modificare i pesi dei modelli utilizzati, intervenendo invece sul modo in cui il sistema osserva l’ambiente, costruisce una rappresentazione delle regole, verifica le proprie ipotesi e decide quali azioni eseguire.
Schema ha ottenuto il 98,98% di RHAE utilizzando una combinazione di Claude Opus 4.8 e Fable 5. Con GPT-5.6 Sol, lo stesso framework ha raggiunto il 95,35%. Il dato risulta nettamente superiore al 13,33% registrato da GPT-5.6 Sol nella classifica ufficiale di ARC Prize sul set pubblico, ma il confronto deve essere interpretato con cautela perché i risultati di Schema derivano da una valutazione svolta direttamente dal gruppo di ricerca e non sono ancora stati sottoposti alla verifica indipendente di ARC Prize.
ARC-AGI-3 è un benchmark progettato per misurare la capacità degli agenti di comprendere ambienti nuovi attraverso l’interazione. Il sistema riceve una griglia colorata di 64 per 64 celle e un insieme di azioni possibili, ma non ottiene alcuna descrizione delle regole, degli obiettivi o del funzionamento del gioco. Deve quindi osservare lo stato iniziale, compiere azioni, analizzarne gli effetti e ricavare progressivamente un modello coerente dell’ambiente.
La valutazione non considera soltanto la capacità di completare i livelli. ARC-AGI-3 utilizza la metrica RHAE, acronimo di Relative Human Action Efficiency, che confronta il numero di azioni impiegate dall’agente con quello richiesto a una persona che affronta il problema per la prima volta. Un risultato del 100% indica che tutti i livelli sono stati risolti con un’efficienza pari o superiore a quella umana. Il 98,98% ottenuto da Schema segnala quindi un comportamento molto vicino all’efficienza umana sul set pubblico esaminato.
Il principale elemento distintivo di Schema è l’approccio utilizzato per costruire il modello del mondo. Impossible Research descrive il framework come un sistema che induce il modello linguistico a ragionare in modo simile a un fisico. Prima di formulare una legge, un fisico deve stabilire quali oggetti compongono il sistema, quali proprietà ne descrivono lo stato e quali trasformazioni possono verificarsi. Schema applica lo stesso principio ai giochi di ARC-AGI-3, imponendo all’agente di definire esplicitamente gli oggetti osservati e le regole che ne determinano il comportamento.
Il processo combina due attività strettamente collegate: State Grounding e Mechanism Discovery. Con lo State Grounding, l’agente stabilisce quali elementi della griglia debbano essere interpretati come oggetti distinti, per esempio il giocatore, una parete, un ostacolo o un elemento interattivo. Con il Mechanism Discovery cerca invece di individuare le regole attraverso cui lo stato dell’ambiente cambia dopo ciascuna azione.
Le regole individuate non rimangono espresse soltanto in forma testuale. Schema obbliga l’agente a trasformarle in un programma eseguibile, costruendo un modello operativo del gioco. Il programma deve spiegare tutte le osservazioni raccolte fino a quel momento e prevedere ciò che dovrebbe accadere dopo una nuova azione. In questo modo la comprensione dell’ambiente viene resa verificabile attraverso l’esecuzione del codice.
Prima di decidere come procedere, il sistema controlla che il programma prodotto riesca a riprodurre correttamente ogni transizione già osservata. Se una previsione non coincide con il risultato reale, Schema non si limita a modificare la strategia o a scegliere un’azione differente. Il framework mette in discussione anche la definizione degli oggetti e le regole formulate, ricostruendo il proprio modello del mondo.
Questo comportamento distingue Schema da un agente che corregge soltanto il piano operativo. Se, per esempio, il sistema interpreta erroneamente un elemento come un ostacolo immobile, una semplice modifica del percorso potrebbe non risolvere il problema. Schema può invece rivedere l’ipotesi iniziale e riconoscere che l’elemento possiede un comportamento differente, aggiornando contemporaneamente la rappresentazione dello stato e il meccanismo che descrive le transizioni.
Impossible Research paragona questo processo al cambiamento introdotto dalla teoria della relatività speciale. Quando una teoria esistente non riesce a spiegare le osservazioni, non è sempre sufficiente aggiungere nuove regole alla struttura precedente. Può essere necessario modificare le categorie con cui viene rappresentato il sistema. Schema applica questo principio agli ambienti interattivi, consentendo all’agente di cambiare non soltanto le proprie conclusioni, ma anche il modo in cui definisce ciò che sta osservando.
La disponibilità di un programma interno permette inoltre al sistema di simulare più scenari prima di agire nell’ambiente reale. L’agente può applicare virtualmente le azioni possibili al modello costruito, prevederne gli effetti e selezionare quella che appare più utile per raggiungere l’obiettivo o raccogliere nuove informazioni. Questo riduce il numero di tentativi eseguiti direttamente nel gioco e migliora l’efficienza misurata attraverso il RHAE.
Il confronto tra differenti ambienti di esecuzione mostra quanto il framework possa influire sulle prestazioni anche quando i modelli sottostanti rimangono invariati. La combinazione di Claude Opus 4.8 e Fable 5 ha ottenuto il 42,83% su ARC-AGI-3 quando eseguita attraverso un normale ambiente Claude Code. Gli stessi modelli, inseriti nel framework Schema, hanno raggiunto il 98,98%, con un incremento di 56,15 punti percentuali.
La differenza non dipende quindi da un maggior numero di parametri, da un nuovo addestramento o dall’aggiornamento dei pesi. Il miglioramento deriva dal processo imposto al modello: definizione esplicita degli stati, formulazione delle regole, traduzione delle ipotesi in codice, verifica delle previsioni e revisione completa del modello quando i risultati non coincidono con quanto osservato.
Il risultato evidenzia il ruolo crescente degli harness, cioè delle infrastrutture che organizzano il funzionamento di un agente attorno a un modello linguistico. Un harness può stabilire quali informazioni debbano essere conservate, quando richiamare il modello, come utilizzare gli strumenti, quali verifiche effettuare, come gestire gli errori e in quale forma rappresentare lo stato del compito.
Due agenti basati sullo stesso modello possono quindi produrre risultati molto differenti a seconda dell’architettura di esecuzione. Un sistema che utilizza il modello come semplice generatore di azioni successive può perdere coerenza, ripetere errori o modificare il piano senza correggere le ipotesi che hanno causato il problema. Un framework dotato di memoria strutturata, simulazione e controllo delle previsioni può invece sfruttare in modo più efficace le capacità già presenti nel modello.
I risultati devono comunque essere letti considerando i limiti della valutazione. Schema è stato provato sui 25 giochi appartenenti al set pubblico di ARC-AGI-3. Non è ancora stato valutato sul set semi-privato, utilizzato per verificare se un metodo riesca a generalizzare verso ambienti non disponibili durante lo sviluppo.
La distanza tra risultati pubblici e privati può essere significativa. GPT-5.6 Sol ha ottenuto il 13,33% sul set pubblico e il 7,78% su quello semi-privato. Questo dimostra che un risultato elevato sui problemi accessibili non può essere automaticamente esteso a giochi sconosciuti, soprattutto quando il framework può essere stato perfezionato osservando le caratteristiche del set pubblico.
La validità della soluzione dipenderà quindi dalla capacità di applicare lo stesso processo di costruzione e revisione del modello del mondo a situazioni realmente nuove. Una valutazione indipendente dovrà inoltre verificare la configurazione utilizzata, il numero di tentativi, i costi computazionali e le modalità con cui sono stati combinati i modelli.
ARC-AGI-3 era stato introdotto nel marzo 2026 e, al momento del lancio, il miglior risultato disponibile era soltanto dello 0,51%. Il rapido passaggio da valori inferiori all’1% a risultati dichiarati vicini al 99% sul set pubblico mostra la velocità con cui stanno evolvendo sia i modelli sia le architetture agentiche costruite attorno a essi.
Il progresso non indica necessariamente che il problema dell’intelligenza generale sia stato risolto. Dimostra però che una parte delle limitazioni osservate nei benchmark può dipendere dall’interfaccia attraverso cui il modello viene utilizzato. Un modello linguistico può possedere capacità di ragionamento che non emergono quando viene interrogato con una sequenza semplice di prompt, ma diventano utilizzabili quando il processo viene organizzato attraverso rappresentazioni strutturate, memoria, strumenti di verifica e simulazioni.
Schema sposta quindi una parte della competizione dall’addestramento dei modelli alla progettazione dei sistemi agentici. L’aumento dei parametri e delle risorse computazionali rimane importante, ma non rappresenta l’unica strada per ottenere prestazioni superiori. Un framework capace di trasformare le ipotesi in programmi verificabili può produrre miglioramenti sostanziali senza intervenire sul modello di base.
L’approccio è rilevante anche oltre ARC-AGI-3. La necessità di definire lo stato, scoprire i meccanismi e correggere il modello del mondo compare in numerosi contesti operativi. Un agente software deve comprendere la struttura di un repository e le relazioni tra i componenti; un robot deve rappresentare gli oggetti, le loro proprietà e le conseguenze delle azioni; un agente scientifico deve formulare ipotesi, tradurle in modelli e confrontarle con i dati.
La trasformazione delle regole in codice eseguibile offre inoltre un livello di trasparenza superiore rispetto a una catena di ragionamento interamente implicita. Il programma prodotto può essere esaminato, testato e confrontato con le osservazioni. Questo non rende automaticamente affidabile l’agente, ma permette di individuare più facilmente le ipotesi errate e di separare la comprensione dell’ambiente dalla pianificazione delle azioni.
Schema mostra quindi che l’efficacia di un agente non coincide necessariamente con la prestazione grezza del modello linguistico su cui è costruito. Il risultato finale dipende anche da come il sistema rappresenta il problema, verifica le proprie conclusioni e utilizza gli errori per aggiornare la propria comprensione.
Il 98,98% ottenuto sul set pubblico di ARC-AGI-3 dovrà essere confermato attraverso valutazioni indipendenti e test su problemi non accessibili. Il dato segnala tuttavia una tendenza precisa: le future prestazioni degli agenti AI saranno determinate non soltanto dai modelli, ma anche dalla qualità dei framework che ne organizzano il ragionamento, la memoria, l’uso degli strumenti e la costruzione di modelli verificabili del mondo.