Nel momento in cui un’idea diventa ubiqua, spesso smette di essere interrogata. È il destino dei Transformer: l’architettura che ha acceso la rivoluzione dell’IA generativa è ovunque, dai grandi modelli linguistici alle pipeline di visione, fino ai multimodali che sfornano testo, immagini, codice. Eppure proprio uno dei loro padri, Llion Jones, oggi CTO e co-fondatore di Sakana AI a Tokyo, ha scandito dal palco un giudizio netto: “sono assolutamente stufo dei Transformer”. Non è una boutade. È la sintesi di una diagnosi più profonda: la ricerca sull’IA si è ristretta in un corridoio troppo stretto, con un’ossessione per un’unica famiglia di modelli che frena l’esplorazione di nuove forme di intelligenza artificiale. Jones, che firmò “Attention Is All You Need”, dice apertamente di voler “andare oltre” la sua stessa creatura.
Per capire il peso di queste parole basta ricordare il percorso di Jones: dalla stagione a Google, dove i Transformer sono nati, alla scelta di fondare Sakana AI con l’idea di ripensare l’IA guardando ai sistemi naturali, ai banchi di pesci e agli alveari, a una “intelligenza collettiva” più distribuita che monolitica. Non è un cambio di umore, è un cambio di livello: mettere in discussione l’assunto per cui il “motore unico” possa scalare indefinitamente e risolvere tutto, e invece cercare meccanismi che connettano memoria, ragionamento, adattamento, cooperazione tra modelli. È la stessa traiettoria che la biografia ufficiale di Jones per TED AI sintetizza: riflettere su “come le architetture plasmano l’intelligenza” e dove potrebbero essere i prossimi salti.
Negli ultimi dodici mesi Sakana ha disseminato indizi pratici su come potrebbe essere “il dopo-Transformer”. Con “Transformer²”, per esempio, ha proposto modelli auto-adattivi che sintonizzano i propri pesi durante l’inferenza, senza bisogno di riaddestramento, come se il sistema si regolasse al volo in base al compito che incontra. In laboratorio l’approccio ha mostrato di poter superare tecniche di fine-tuning leggere come LoRA su benchmark di matematica, coding e ragionamento, suggerendo una via in cui il modello non è più una fotografia congelata ma un organismo che si piega, si calibra, si riallinea in tempo reale.
Un secondo tassello è la memoria. Che i Transformer “dimentichino” in fretta ciò che non entra nella loro finestra di contesto è noto da anni; a fine 2024 Sakana ha presentato un lavoro su una memoria “evoluta e universale” che, ispirandosi alle dinamiche umane di selezione e potatura, si innesta sopra modelli esistenti per trattenere e riusare conoscenze in modo efficiente e trasferibile tra fondazioni diverse e persino oltre il linguaggio. È un modo per dire che non basta allungare i contesti o lanciare server più grandi: serve un metabolismo della memoria, non solo uno stoccaggio.
Il terzo indizio è un’idea che sposta l’asse dalla singola rete alla “mente corale”: le “Continuous Thought Machines”, macchine di pensiero continuo che cercano di ridurre la dipendenza da prompt fiume e chain-of-thought prolisse, puntando a un ragionamento più autonomo, con minori stampelle esterne. Se funziona, è un colpo al cuore della “prompt economy” e un segnale che l’architettura conta almeno quanto i dati per liberare capacità di problem solving non supervisionato.
Questa linea evolutiva non nasce nel vuoto. Già nel 2024 Sakana aveva suscitato discussione con una tecnica di “evolutionary model merge”, un’evoluzione guidata che ricombina pezzi di modelli esistenti per far emergere architetture più efficaci, e con l’“AI Scientist”, un sistema che automatizza l’intero ciclo della ricerca, fino a scrivere e sottoporre articoli, mettendo sul tavolo domande di governance e fiducia. Al netto delle polemiche, il messaggio era chiaro: smontare, ricomporre, orchestrare — invece di limitarsi a ingrandire.
Quando Jones dice di essere “stufo” dei Transformer, dunque, non rinnega il passato; denuncia l’uniformità del presente. La comunità tech, sostiene, ha accettato una monocultura architetturale che incentiva a iterare sulle stesse leve — più parametri, più dati, più GPU — e disincentiva l’azzardo di nuove forme. È comprensibile, perché gli ecosistemi si sono consolidati: tooling, inferenza, ottimizzatori, librerie, ingegneria di contesto. Ma ogni piattaforma dominante ha un punto di massima resa oltre il quale le migliorie diventano marginali, e la curva costo/beneficio si appiattisce. La storia dell’informatica è piena di momenti in cui, a parità di potenza bruta, ha vinto chi ha cambiato forma, non chi ha aggiunto watt.
C’è anche un aspetto culturale, che Jones conosce a memoria: i Transformer hanno imposto un’estetica della scala e della linearità — più grande equivale spesso a più capace — che premia il calcolo ma appiattisce la diversità dei meccanismi cognitivi. La natura, a cui Sakana guarda, fa l’opposto: moltiplica topologie, ibrida strategie, distribuisce funzioni e memoria, lascia che agenti relativamente semplici, coordinandosi, producano comportamenti emergenti. È un invito a spostare l’attenzione dall’“unicorno universale” alla “zoo-logia delle intelligenze”, dove architetture diverse svolgono compiti diversi e cooperano.
Per chi costruisce prodotti oggi, la provocazione ha conseguenze molto pratiche. Un’IA auto-adattiva riduce la dipendenza da cicli infiniti di fine-tuning, taglia i tempi di deploy, apre la strada a sistemi che si calibrano in base al dominio senza passare da pipeline di addestramento lunghe e costose. Una memoria evoluta e trasferibile sposta valore dall’hardware alla conoscenza persistita, con benefici su costi e latenza. Architetture di pensiero continuo e cooperative promettono di svincolare le soluzioni dal micromanagement dei prompt e dall’orchestrazione manuale di agenti, liberando design più semplici lato utente. Non è solo “ricerca bella”, è un’agenda di efficienza che parla al P&L.
Naturalmente i Transformer non spariranno domattina. Resteranno a lungo la spina dorsale di molti stack, come Unix è rimasto a lungo nel Dna dei sistemi moderni. Ma il monocorde “scaliamo ancora” mostra crepe: costi energetici e ambientali crescenti, difficoltà a mantenere coerenza su contesti estesi, ragionamento che spesso degenera in verbosità, memorie che non sopravvivono al prompt. Il punto di Jones è proprio questo: ritrovare il coraggio di pluralizzare le forme, reintrodurre la sperimentazione architetturale come primo motore di progresso, rimescolare la gerarchia tra dati, compute e design dei modelli. Se la prossima ondata dell’IA nascerà, con ogni probabilità sarà perché qualcuno avrà avuto l’ardire di cambiare “come” pensa la macchina, non solo “quanto” pensa.
Vista dall’Europa, questa discussione è un’opportunità. I player che non possiedono miniere di GPU possono ritagliarsi spazi proprio dove la forma conta più della forza bruta: strumenti auto-adattivi per domini verticali, memorie condivise tra modelli interoperabili, ragionamento continuo per agenti che vivono vicino ai processi aziendali. È una mappa che allinea innovazione e sostenibilità: meno spreco di calcolo, più intelligenza di architettura. E se a dettare il ritmo è uno degli autori del paper che ha dato il via a tutto, vale la pena ascoltare con attenzione.