L’esecuzione locale dei grandi modelli linguistici sugli smartphone è stata finora condizionata soprattutto dalla memoria disponibile, dalla potenza di calcolo e dal consumo energetico. PrismML sostiene di aver superato una parte rilevante di questi limiti comprimendo un modello Qwen da 27 miliardi di parametri, originariamente grande circa 54 GB, fino a meno di 4 GB e riuscendo a eseguirlo su un iPhone 17 Pro.
La riduzione supera quindi il 90% delle dimensioni iniziali e permette di collocare nella memoria di un dispositivo mobile un modello che, in condizioni normali, richiederebbe hardware molto più capiente. L’aspetto più significativo non riguarda soltanto il numero nominale di parametri, ma il fatto che il sistema utilizzi contemporaneamente l’intero modello denso da 27 miliardi di parametri.
Molti modelli destinati ai dispositivi mobili adottano infatti architetture Mixture of Experts sparse. Questi sistemi possono contenere complessivamente decine di miliardi di parametri, ma ne attivano soltanto una parte per ogni token elaborato. Un modello dichiarato da 20 o 30 miliardi di parametri può quindi utilizzare durante l’inferenza solo pochi miliardi di pesi, selezionando di volta in volta gli esperti ritenuti più adatti.
La soluzione di PrismML segue un’impostazione differente. Tutti i 27 miliardi di parametri rimangono coinvolti nell’elaborazione, senza ricorrere alla selezione dinamica di un sottoinsieme di esperti. Questo consente potenzialmente di conservare una maggiore continuità delle capacità del modello, ma rende molto più difficile rispettare i limiti di memoria e banda di uno smartphone.
Per ridurre le dimensioni, l’azienda utilizza una tecnica matematica proprietaria di compressione dei pesi. I parametri di un modello linguistico vengono normalmente memorizzati attraverso rappresentazioni numeriche che possono occupare 16 o 32 bit ciascuna. Le tecniche di quantizzazione diminuiscono questa precisione, utilizzando per esempio 8, 4 o meno bit per rappresentare ogni valore.
Ridurre il numero di bit permette di abbassare drasticamente lo spazio occupato e la quantità di dati che il processore deve trasferire dalla memoria. Una quantizzazione troppo aggressiva può però alterare i pesi, degradare le risposte e compromettere soprattutto le attività che richiedono ragionamento, programmazione o gestione accurata di contesti lunghi.
PrismML afferma di aver contenuto questa perdita attraverso un metodo che identifica la struttura matematica del modello e comprime i parametri preservando le informazioni maggiormente rilevanti. La società parla di un’esecuzione senza una riduzione significativa delle prestazioni, ma la portata effettiva del risultato dovrà essere verificata attraverso benchmark indipendenti, confronti con il modello originale e misurazioni su attività differenti.
La sola capacità di caricare il modello sul dispositivo non è infatti sufficiente per dimostrare la praticabilità di un sistema AI mobile. Devono essere valutate anche la velocità di generazione dei token, il tempo necessario per elaborare il prompt, il consumo della batteria, la temperatura raggiunta dal dispositivo e la quantità di memoria rimasta disponibile per il sistema operativo e le altre applicazioni.
Un modello compresso può inoltre ridurre le dimensioni del file senza diminuire in modo proporzionale tutti i costi dell’inferenza. Il processore deve comunque eseguire operazioni sui parametri e gestire la cache KV, cioè la memoria temporanea utilizzata per conservare le rappresentazioni delle parti precedenti della conversazione. All’aumentare della finestra contestuale, questa componente può diventare uno dei principali limiti per l’esecuzione locale.
Il risultato suggerisce comunque che uno smartphone può ospitare modelli molto più grandi rispetto alle soluzioni on-device tradizionali. Un sistema da 27 miliardi di parametri potrebbe affrontare conversazioni articolate, generazione di codice, pianificazione e alcune attività agentiche senza inviare continuamente dati a un’infrastruttura remota.
L’elaborazione locale offre innanzitutto un vantaggio per la riservatezza. Prompt, documenti, immagini e altre informazioni possono rimanere sul dispositivo, riducendo l’esposizione verso server esterni. Questo approccio risulta particolarmente utile per dati aziendali, comunicazioni personali e applicazioni che devono operare in ambienti soggetti a requisiti di sicurezza.
L’assenza di una connessione costante permette inoltre di utilizzare alcune funzioni AI offline o in presenza di una rete instabile. La latenza non dipende dal collegamento a un data center e il fornitore evita una parte dei costi legati all’esecuzione di ogni richiesta su GPU o acceleratori cloud.
Il passaggio al dispositivo dell’utente modifica però anche la distribuzione delle risorse. Il costo computazionale non scompare, ma viene trasferito al processore, alla memoria e alla batteria dello smartphone. Per questo motivo l’efficienza deve essere valutata non solo in termini di dimensioni del modello, ma considerando l’intero ciclo di esecuzione.
Le applicazioni potrebbero adottare un’architettura ibrida. Le richieste ordinarie, l’analisi di dati privati e le operazioni che richiedono una risposta immediata verrebbero gestite localmente, mentre il cloud resterebbe disponibile per i compiti più complessi, i modelli di frontiera o le elaborazioni che superano le capacità del dispositivo.
Questo schema consentirebbe di scegliere dinamicamente dove eseguire ogni attività sulla base della complessità, della sensibilità dei dati, della connettività e dello stato della batteria. Lo smartphone non sostituirebbe completamente il data center, ma diventerebbe un vero nodo di elaborazione AI e non soltanto un terminale utilizzato per inviare richieste.
La tecnologia può avere conseguenze rilevanti anche per gli agenti personali. Un modello locale potrebbe accedere a calendario, messaggi, file e applicazioni mantenendo una parte maggiore delle informazioni sul dispositivo. L’esecuzione delle azioni richiederebbe comunque controlli rigorosi sui permessi, perché un agente capace di operare offline avrebbe accesso diretto a risorse personali senza la mediazione di un servizio cloud.
La disponibilità pubblica del modello compresso permetterà di verificare se la riduzione sotto i 4 GB conserva realmente le capacità del modello originale e con quali compromessi. Saranno particolarmente importanti i risultati su ragionamento, coding, comprensione di testi lunghi e stabilità delle risposte, oltre alle misurazioni concrete su velocità, autonomia e temperatura.