Un gruppo di ricercatori del MIT ha sperimentato l’utilizzo di GPT-6 Astra per analizzare e modificare direttamente i parametri numerici di reti neurali già addestrate, senza ricorrere ai tradizionali procedimenti di aggiornamento dei pesi basati sul calcolo dei gradienti. La ricerca riguarda la possibilità di utilizzare un modello linguistico avanzato come strumento di diagnosi e intervento sulla struttura interna di altri modelli, individuando comportamenti problematici e producendo modifiche mirate ai valori dei parametri. Nei processi convenzionali di fine-tuning, l’aggiornamento della rete deriva normalmente dall’elaborazione di esempi, errori o segnali di ricompensa attraverso algoritmi di ottimizzazione. Nell’approccio sperimentato al MIT, Astra esamina invece direttamente i pesi e le informazioni sul comportamento del modello bersaglio, formula ipotesi sul funzionamento interno e decide quali parametri modificare. I ricercatori hanno utilizzato rappresentazioni testuali dei pesi per alcune reti di piccole dimensioni e un ambiente Python controllato per consentire ad Astra di ispezionare strutture più complesse.
Uno degli esperimenti principali ha riguardato Qwen3.5-0.8B, un modello relativamente compatto che presentava gravi problemi di ripetizione durante la generazione delle risposte. Prima dell’intervento, il sistema tendeva frequentemente a riprodurre sequenze di ragionamento fino al raggiungimento del limite massimo di token, impedendo il completamento corretto delle soluzioni. I ricercatori hanno fornito ad Astra accesso ai pesi attraverso Python, problemi matematici di prova e un budget limitato di valutazioni. Nel tentativo con i risultati migliori, il modello editor ha utilizzato cinquanta richieste di valutazione, ciascuna potenzialmente composta da centinaia di esempi, sviluppando un’attività complessiva di 158 turni conversazionali e ottanta esecuzioni Python. La procedura ha richiesto 20,3 ore, delle quali 4,7 trascorse in attesa durante un’interruzione del servizio. Questi dati mostrano che l’individuazione della modifica, pur producendo alla fine un intervento circoscritto, ha richiesto una fase consistente di osservazione, sperimentazione e verifica.
Il risultato finale ha interessato 131.072 pesi, localizzati in componenti selezionate dei livelli 15 e 19 della rete. Astra ha individuato e rimosso una direzione numerica associata al comportamento ripetitivo, intervenendo su una frazione limitata dei parametri complessivi. Dopo la modifica, l’accuratezza su MATH-500 è passata dal 7,9% al 48,1%, mentre su GSM8K è aumentata dal 13,8% al 67,1%. Il risultato su IFEval, dedicato alla capacità di seguire istruzioni, è cresciuto dal 21% al 62,3%. Parallelamente, la percentuale di risposte MATH-500 che raggiungevano il limite massimo di token è diminuita dal 93% al 33,1%. Questi miglioramenti sono stati ottenuti nelle condizioni sperimentali dichiarate e risultano strettamente collegati alla riduzione delle ripetizioni. I ricercatori attribuiscono quindi una parte sostanziale dell’incremento prestazionale alla possibilità di utilizzare competenze matematiche già presenti nel modello, ma precedentemente compromesse dal malfunzionamento della generazione. L’esperimento non dimostra che la modifica abbia introdotto una quantità equivalente di nuove conoscenze matematiche.
Le sperimentazioni sono state estese ad altre categorie di reti neurali. In una prova di identificazione funzionale, Astra ha riconosciuto quattro reti addestrate per i videogiochi Breakout, Pong, Pac-Man e Freeway, pur disponendo di architetture, formati di input e azioni disponibili corrispondenti. Il sistema è riuscito ad associare le reti ai rispettivi giochi senza ricevere un elenco di possibili risposte o strumenti aggiuntivi per la classificazione. In un esperimento di guida simulata, i ricercatori hanno presentato ad Astra un controllore che rimaneva ripetutamente bloccato su una rampa, fornendo i suoi pesi, una descrizione della scena e una traiettoria di fallimento. Astra ha prodotto una modifica in un’unica risposta, intervenendo sul 3,5% dei pesi e ottenendo, secondo i risultati riportati, una percentuale di successo del 100% nell’ambiente di prova.
Un ulteriore gruppo di test ha verificato la possibilità di costruire direttamente reti neurali partendo dalle regole e dal codice sorgente di giochi semplificati, senza consentire ad Astra di provare le reti prima della valutazione. Negli esperimenti MinAtar, la rete generata per Breakout ha raggiunto un punteggio di 517,4, mentre una rete di riferimento addestrata con Proximal Policy Optimization per cinquecento milioni di passaggi ha ottenuto 25,3. Il vantaggio, superiore a venti volte in quella specifica prova, non si è ripetuto uniformemente in tutti gli ambienti. Nei giochi Seaquest e Asterix, Astra ha ottenuto risultati inferiori rispetto alle reti addestrate con cinquecento milioni di passaggi, pur superando i riferimenti basati su cento milioni di passaggi in tutte e tre le attività considerate. Le differenze indicano che la costruzione diretta dei pesi può produrre risultati significativi in ambienti delimitati, ma non costituisce ancora una procedura affidabile e universalmente superiore all’addestramento convenzionale.
La ricerca ha evidenziato anche limiti importanti nella capacità di interpretazione dei parametri. In un esperimento condotto su Gemma 3 270M, Astra non è riuscito a produrre un miglioramento matematico dimostrabile. A differenza di Qwen, il modello non presentava un problema grave di ripetizione, rendendo meno evidente una specifica anomalia da correggere. In un altro test, Astra inizialmente non è riuscito a distinguere una rete addestrata ad assecondare le affermazioni dell’utente da una progettata per fornire risposte corrette; la distinzione è diventata possibile soltanto dopo che i ricercatori hanno fornito ulteriori misurazioni dell’attenzione durante l’esecuzione. L’accesso diretto ai pesi, quindi, non garantisce da solo la comprensione del comportamento interno della rete. I risultati sono stati accolti con interesse per le potenziali applicazioni nella diagnosi e nella manutenzione dei modelli, ma hanno suscitato anche discussioni sui possibili effetti di un’accelerazione dei processi di miglioramento automatico delle capacità AI.
Gli interventi diretti sui pesi di modelli addestrati non costituiscono una tecnica completamente nuova. Ricerche precedenti, tra cui ROME, presentata a NeurIPS 2022, e MEMIT, pubblicata a ICLR 2023, avevano già studiato modifiche localizzate delle associazioni fattuali contenute nei transformer, con MEMIT orientata anche all’aggiornamento simultaneo di migliaia di associazioni. La differenza dell’approccio del MIT consiste nell’utilizzare un modello linguistico generalista per investigare direttamente la rete bersaglio e progettare interventi attraverso compiti differenti. Rimangono da determinare l’affidabilità delle modifiche, la riproducibilità dei risultati, il costo computazionale rispetto al fine-tuning e la capacità di ottenere miglioramenti non riconducibili alla semplice eliminazione di anomalie preesistenti. Non è stato inoltre dimostrato un processo ricorsivo nel quale un modello utilizzi i miglioramenti ottenuti per produrre autonomamente ulteriori incrementi progressivi delle proprie capacità.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)