Un gruppo di ricercatori della Shanghai Jiao Tong University, di Theseus Lab, della Tsinghua University, di ByteDance e dello Shanghai AI Laboratory ha proposto una classificazione in cinque livelli per valutare lo sviluppo dei sistemi di intelligenza artificiale capaci di recursive self-improvement, o RSI, cioè di migliorare progressivamente se stessi con un intervento umano sempre più ridotto. Il lavoro, intitolato The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement, non introduce un nuovo modello, ma riunisce e organizza i risultati della ricerca esistente per definire criteri più rigorosi con cui distinguere una semplice ottimizzazione da una reale capacità di auto-miglioramento ricorsivo.
Secondo i ricercatori, non è sufficiente che un sistema corregga una risposta, modifichi del codice oppure aumenti le proprie prestazioni seguendo regole stabilite dall’uomo. Per parlare propriamente di RSI, il risultato di una fase di miglioramento deve influenzare anche le fasi successive, per esempio producendo nuove strategie, strumenti, metodi di valutazione o procedure che vengano riutilizzati nel processo di sviluppo futuro. Il punto centrale è quindi la presenza di una continuità tra una generazione di miglioramenti e quella successiva.
La classificazione parte dal livello B0, nel quale un sistema può modificare il proprio output all’interno di un singolo compito, ma queste modifiche non vengono trasferite alle attività successive. Nel livello L1, gli strumenti, le tecniche o le soluzioni create dall’AI possono invece essere conservati e riutilizzati in compiti futuri. Con L2 il sistema acquisisce un grado superiore di autonomia, perché può scegliere direttamente quale componente modificare, intervenendo per esempio sui prompt, sugli strumenti disponibili, sulla memoria, sui pesi del modello oppure sul modo in cui viene organizzato il lavoro.
Il livello L3 prevede che l’AI sia capace di individuare autonomamente le proprie debolezze e di progettare nuovi processi di apprendimento per correggerle, creando per esempio problemi di addestramento, nuove esperienze oppure strategie differenti per acquisire informazioni. Con L4 il processo diventa continuo anche dopo la distribuzione del sistema, utilizzando il feedback proveniente dall’ambiente reale per introdurre ulteriori miglioramenti.
Il livello massimo, L5, corrisponde invece a un sistema capace di migliorare non soltanto se stesso, ma anche il meccanismo utilizzato per produrre i miglioramenti. In questo scenario l’AI potrebbe modificare le strategie con cui vengono generate nuove versioni, perfezionare i propri sistemi di valutazione e trasferire questi progressi alle generazioni successive del processo di sviluppo. È questa capacità di intervenire sul sistema di auto-miglioramento stesso che rappresenta, secondo gli autori, la forma più completa di recursive self-improvement.
Le evidenze sperimentali disponibili mostrerebbero che diversi sistemi sono già in grado di raggiungere caratteristiche riconducibili al livello L2, scegliendo autonomamente alcuni aspetti da modificare e sperimentando differenti strategie di ottimizzazione. Esistono inoltre ricerche nelle quali l’esperienza acquisita durante lo sviluppo di un modello viene riutilizzata nelle fasi di addestramento successive oppure agenti per la programmazione vengono fatti evolvere per aumentare le proprie prestazioni. In questi casi, tuttavia, le regole fondamentali del processo e i criteri con cui vengono giudicati i risultati restano generalmente definiti e controllati da esseri umani. I sistemi riconducibili al livello L5 rimangono invece confinati a esperimenti controllati o a forme ancora preliminari.
Il lavoro mette in guardia anche dall’equazione tra miglioramento delle prestazioni e auto-miglioramento. Un modello può infatti ottenere risultati migliori semplicemente perché utilizza più risorse di calcolo, esegue un maggior numero di tentativi oppure dispone di più tempo per completare un compito. Per stabilire se un sistema abbia realmente sviluppato una strategia migliore è necessario verificare anche la capacità di trasferire i progressi a nuovi problemi, mantenere le competenze già acquisite e valutare contemporaneamente costi computazionali, stabilità e affidabilità.
Uno dei problemi principali riguarda proprio la verifica delle modifiche prodotte autonomamente. Ogni aggiornamento dovrebbe essere controllato per stabilire se abbia realmente migliorato le prestazioni senza compromettere capacità precedenti. Esiste inoltre il rischio che un sistema impari a sfruttare le debolezze dei meccanismi di valutazione per superare i test senza aver effettivamente raggiunto il miglioramento desiderato, un comportamento assimilabile alla manipolazione del valutatore. Per questo gli autori indicano la necessità di valutazioni indipendenti, registri delle diverse versioni, analisi degli aggiornamenti falliti e sistemi di rollback capaci di ripristinare una configurazione precedente quando una modifica produce effetti indesiderati.
La possibilità di sperimentare sistemi auto-miglioranti varia inoltre sensibilmente a seconda dell’ambito applicativo. Lo sviluppo software rappresenta uno dei contesti più favorevoli, perché i risultati possono essere sottoposti rapidamente a test automatici e confrontati con metriche relativamente chiare. Nella ricerca scientifica, invece, la validazione delle nuove ipotesi può richiedere esperimenti lunghi e complessi, mentre nella robotica gli errori commessi durante il processo di apprendimento possono provocare danni fisici nel mondo reale. In medicina i margini di sperimentazione sono ancora più limitati, perché non è possibile consentire a un sistema di modificare liberamente il proprio comportamento attraverso prove effettuate direttamente sui pazienti.
La classificazione proposta indica quindi che l’AI contemporanea ha già raggiunto forme parziali di auto-miglioramento, ma rimane distante da sistemi capaci di evolvere autonomamente e in modo continuativo il proprio processo di sviluppo. I ricercatori ritengono necessario osservare questi sistemi per più generazioni successive, verificando se i miglioramenti riescano realmente ad accumularsi nel tempo oppure se il processo tenda a fermarsi una volta raggiunto un determinato livello di prestazioni.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)