Un gruppo di ricercatori del Massachusetts Institute of Technology, appartenenti al Computer Science and Artificial Intelligence Laboratory (CSAIL) e al MIT-IBM Watson AI Lab, ha sviluppato Swarm Telepathy (SwaT), una tecnologia che consente a modelli linguistici di famiglie differenti di trasferire informazioni attraverso i rispettivi stati computazionali interni senza doverle convertire preventivamente in testo. La ricerca, presentata con il titolo Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families, affronta uno dei limiti dei sistemi multiagente basati su modelli linguistici di grandi dimensioni: la necessità di convertire il risultato dell’elaborazione di un agente in un messaggio testuale che un secondo agente deve successivamente leggere, interpretare ed elaborare nuovamente. Questa procedura comporta un costo computazionale aggiuntivo e può provocare perdite informative, soprattutto quando il messaggio trasmesso è una sintesi del contesto originale. SwaT introduce invece un meccanismo di trasferimento degli stati latenti attraverso il quale il modello ricevente può utilizzare informazioni già elaborate dal modello mittente. Nei test riportati dai ricercatori, la soluzione ha ottenuto un miglioramento medio delle prestazioni del 40% rispetto alla comunicazione mediante sintesi testuale e una riduzione di circa quattro volte del tempo complessivo di elaborazione.
L’architettura si basa sulla Key-Value cache, comunemente indicata come KV cache, una struttura utilizzata nei modelli Transformer per conservare le rappresentazioni calcolate durante l’elaborazione di una sequenza. Quando un modello riceve un contesto, i meccanismi di attenzione producono informazioni che possono essere memorizzate e riutilizzate durante la generazione dei token successivi, evitando di ripetere integralmente determinate operazioni. Normalmente queste rappresentazioni sono strettamente legate alla struttura del modello che le ha generate e non possono essere trasferite direttamente a un sistema con differenti dimensioni interne, livelli di elaborazione o rappresentazioni latenti. Swarm Telepathy supera tale incompatibilità mediante un convertitore appositamente addestrato, capace di trasformare la cache prodotta dal modello sorgente in una rappresentazione utilizzabile dal modello destinatario. L’addestramento interessa soltanto il componente di conversione: i parametri dei due modelli linguistici rimangono invariati e non è necessario effettuare una procedura di fine-tuning dei modelli completi. Secondo i risultati diffusi, l’addestramento può essere effettuato con circa 44 milioni di token unici e meno di una giornata di elaborazione su una singola GPU.
I ricercatori hanno integrato questa procedura con Attention Matching, una tecnica di compressione della cache, e hanno valutato il sistema attraverso combinazioni di modelli, quantità differenti di informazioni trasferite e benchmark di comprensione testuale. La valutazione ha compreso sette dataset, denominati QuALITY, QASPER, HotpotQA, MuSiQue, SQuAD, NarrativeQA e LongHealth, considerando sia la qualità delle risposte, misurata mediante accuratezza o punteggio F1, sia il numero di token trasmessi, il tempo GPU del modello mittente e il tempo necessario al modello ricevente per produrre il primo token. Gli esperimenti hanno coinvolto modelli sviluppati da organizzazioni differenti, tra cui Llama di Meta, Qwen di Alibaba, Gemma di Google, Granite di IBM, Ministral di Mistral e SmolLM di Hugging Face. Sono state verificate configurazioni di trasferimento da Qwen a Llama e da Gemma a Qwen e Granite, dimostrando che la conversione non è limitata a modelli appartenenti alla medesima famiglia. L’eliminazione della fase di generazione del messaggio testuale e della successiva elaborazione iniziale, o prefill, da parte del destinatario contribuisce direttamente alla riduzione dei tempi osservata nei test.
Una parte della sperimentazione ha riguardato il trasferimento di capacità informative tra modelli con caratteristiche differenti. In un test multimodale, un modello Gemma dotato di capacità di comprensione visiva ha elaborato un’immagine e trasferito il proprio stato interno a un modello capace di operare soltanto su testo. Il destinatario è riuscito a rispondere alle domande relative all’immagine con maggiore accuratezza rispetto alla configurazione nella quale riceveva esclusivamente una descrizione testuale. Il risultato è particolarmente significativo perché il convertitore utilizzato era stato addestrato soltanto su contenuti testuali in lingua inglese, ma ha comunque permesso il trasferimento di informazioni derivanti dall’elaborazione visiva. Un’altra verifica ha interessato la conoscenza linguistica in cinese: trasferendo la cache di Qwen 3 4B a Llama 3 8B, le prestazioni di quest’ultimo sono migliorate in tutte le 67 discipline del benchmark CMMLU, riducendo di circa tre quarti il divario iniziale rispetto al modello sorgente. Queste prove indicano la possibilità di trasferire informazioni utili anche quando il destinatario possiede capacità native più limitate nella specifica modalità o lingua considerata.
La tecnologia presenta tuttavia vincoli ancora rilevanti. Ogni coppia di modelli mittente e destinatario richiede attualmente l’addestramento di un convertitore specifico, con un incremento della complessità di gestione quando il numero di modelli collegati cresce. I ricercatori considerano quindi la creazione di uno spazio latente condiviso, o Shared Latent Space, che possa consentire a modelli differenti di utilizzare rappresentazioni intermedie comuni e ridurre la necessità di convertitori dedicati. Rimane inoltre da risolvere la gestione degli scambi ripetuti e dell’aggregazione di più messaggi: diversamente dalle stringhe testuali, gli stati della KV cache non possono essere necessariamente combinati o aggiornati più volte senza alterare le informazioni conservate. Un ulteriore aspetto riguarda la sicurezza e la verificabilità del contenuto trasmesso, poiché gli stati latenti possono incorporare informazioni non esplicitamente presenti nei messaggi testuali. L’implementazione attuale permette ancora il monitoraggio dei testi elaborati dal mittente, ma saranno necessari ulteriori controlli per garantire che lo scambio diretto di rappresentazioni interne rimanga verificabile. Il codice di Swarm Telepathy è stato pubblicato su GitHub come base per ulteriori sperimentazioni su sistemi multiagente eterogenei.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).