Sakana.ai, una startup di ricerca e sviluppo con sede a Tokyo, ha recentemente presentato Transformer², un sistema di intelligenza artificiale auto-adattivo progettato per modificare dinamicamente i propri pesi in risposta a diversi compiti.
Ispirato ai fenomeni naturali, come la capacità del polpo di mimetizzarsi o la riorganizzazione del cervello umano dopo un trauma, Transformer² adotta un approccio innovativo rispetto ai modelli di intelligenza artificiale tradizionali, che generalmente mantengono pesi statici dopo l’addestramento.
Il sistema utilizza una tecnica matematica nota come Decomposizione ai Valori Singolari (SVD) per scomporre le matrici di peso del modello in componenti indipendenti. Successivamente, attraverso l’apprendimento per rinforzo, combina questi componenti per adattarsi a specifici compiti, generando vettori ‘z’ compatti che guidano l’adattamento del modello.
Durante l’inferenza, Transformer² impiega tre strategie principali—basate su prompt, classificatori e apprendimento con pochi esempi—per identificare il tipo di compito e adattarsi di conseguenza. Questo approccio garantisce un’adattabilità robusta ed efficiente, superando sistemi statici come LoRA in vari scenari.
I test condotti su modelli di linguaggio come Llama e Mistral, in compiti che spaziano dalla matematica (GSM8K) alla programmazione (HumanEval) e alla comprensione visiva (TextVQA), hanno evidenziato prestazioni superiori, con notevoli miglioramenti in termini di adattabilità ed efficienza.
Un aspetto sorprendente emerso dalla ricerca è la capacità di trasferire le conoscenze acquisite da un modello AI a un altro. Trasferendo i pattern di apprendimento da Llama a Mistral, il secondo modello ha mostrato miglioramenti significativi in diversi compiti, indicando che, con strutture sottostanti simili, i modelli possono condividere efficacemente le competenze apprese.