OptAI ha presentato Opt.Gear, la propria prima famiglia di modelli fondamentali sviluppata internamente e progettata specificamente per l’esecuzione dell’intelligenza artificiale direttamente sui dispositivi. La gamma comprende tre versioni da 1 miliardo, 270 milioni e 1 milione di parametri, destinate rispettivamente a piattaforme con capacità di calcolo differenti, dagli smartphone e dai notebook fino ai microcontrollori. Il progetto non deriva dalla semplice riduzione di un modello linguistico nato per i server, ma è stato costruito tenendo conto fin dall’inizio dei vincoli tipici dell’elaborazione on-device, tra cui quantità limitata di SRAM, ridotta larghezza di banda della memoria, consumo energetico, latenza e disponibilità di processori eterogenei. OptAI ha pubblicato sia i pesi sia i file necessari alla distribuzione, adottando un modello open weight che consente alle aziende di adattare Opt.Gear alle proprie applicazioni e ai dispositivi sui quali intendono eseguirlo.
L’elemento centrale dell’architettura è il sistema proprietario ConvKV-Gated Mixer, che sostituisce numerosi livelli di attenzione con operazioni convoluzionali. Nei modelli Transformer tradizionali, il meccanismo di attenzione conserva per ogni token le rappresentazioni key e value utilizzate per elaborare il contesto; queste informazioni formano la KV cache, la cui dimensione aumenta proporzionalmente con la lunghezza della sequenza. Su smartphone, microcontrollori e altri dispositivi con memoria ridotta, l’espansione continua della cache può limitare la lunghezza del contesto utilizzabile, aumentare il traffico verso la memoria esterna e rallentare l’elaborazione. ConvKV-Gated Mixer è stato invece progettato affinché la dimensione della KV cache rimanga fissa anche quando il contesto si allunga, evitando che il fabbisogno di memoria cresca insieme al numero dei token elaborati. La sostituzione selettiva dell’attenzione con la convoluzione consente quindi di mantenere informazioni sul contesto senza replicare interamente il modello di memorizzazione utilizzato dai Transformer convenzionali.
Opt.Gear funziona inoltre senza ricorrere alle operazioni softmax e alle tradizionali moltiplicazioni tra matrici impiegate nei livelli di attenzione. Il modello utilizza operazioni statiche, più semplici da pianificare e ottimizzare sui diversi acceleratori, e può essere distribuito su CPU, GPU e NPU senza dipendere strettamente da una specifica tipologia di processore. L’assenza di una KV cache variabile e di alcune delle operazioni più onerose dell’attenzione riduce la pressione sulla memoria e facilita l’adattamento a hardware con caratteristiche molto diverse. Questo aspetto è particolarmente rilevante nei prodotti on-device, dove lo stesso modello può dover funzionare su chip mobili, processori per notebook, acceleratori neurali integrati o microcontrollori privi delle risorse normalmente disponibili in un data center.
Nei test condotti sul processore neurale Qualcomm Snapdragon 8 Elite Gen 5, Opt.Gear ha raggiunto una velocità di elaborazione dell’input pari a 7.042 token al secondo, risultando 2,9 volte più rapido di Qwen3-1.7B di Alibaba. Sull’iPhone 17 Pro, la velocità di generazione dei token è risultata invece 4,9 volte superiore a quella di EXAONE 4.0-1.2B di LG. I due risultati misurano fasi differenti dell’inferenza: la velocità di elaborazione dell’input riguarda la lettura iniziale del prompt e del contesto, mentre la generazione indica la rapidità con cui il modello produce progressivamente i token della risposta. Le prestazioni dichiarate mostrano quindi un vantaggio sia nella fase di prefill, che può diventare particolarmente pesante con input lunghi, sia nella decodifica autoregressiva utilizzata per costruire l’output.
La versione da 1 miliardo di parametri ha ottenuto 43,2 punti nel benchmark MMLU, dedicato alla valutazione delle conoscenze e della capacità di rispondere a domande appartenenti a discipline differenti, e 44,2 punti in HAERAE, un test concentrato sulla cultura e sulle conoscenze generali coreane. Secondo i risultati comunicati, il modello ha superato Gemma 3-1B di Google ed EXAONE 4.0-1.2B di LG, mentre in quattro valutazioni dedicate alla lingua coreana ha ottenuto punteggi superiori a Llama 3.2-1B. Il confronto è significativo perché Opt.Gear cerca di combinare dimensioni contenute e requisiti hardware ridotti con prestazioni linguistiche competitive, anziché limitarsi a privilegiare la velocità di esecuzione sacrificando completamente la qualità del modello.
OptAI sta già applicando tecnologie di ottimizzazione dell’intelligenza artificiale nei settori della difesa, della mobilità e della robotica e collabora con aziende come LG Electronics, LG Uplus, Hyundai Motor e Hanwha Aerospace. La disponibilità di tre dimensioni consente di distribuire la stessa famiglia architetturale su dispositivi molto differenti: il modello da 1 miliardo di parametri può essere utilizzato su smartphone e notebook dotati di acceleratori neurali, la versione da 270 milioni riduce ulteriormente memoria e potenza necessarie, mentre quella da 1 milione è indirizzata a microcontrollori e sistemi embedded con risorse estremamente limitate. L’impostazione tecnica di Opt.Gear punta quindi a mantenere l’elaborazione sul dispositivo, riducendo la necessità di inviare continuamente dati a un server remoto e adattando memoria, latenza e consumo energetico ai limiti fisici dell’hardware locale.