In un’epoca in cui l’IA è sempre più centrale, molte innovazioni si svolgono dietro le quinte, nei laboratori o nei data center. È meno comune che un’azienda annunci un modello di linguaggio avanzato pensato per funzionare sul dispositivo, sullo smartphone dell’utente, senza bisogno di costante connessione alla rete. Eppure, è proprio quello che LG Uplus, assieme a LG AI Research e OptAI, ha reso pubblico: hanno sviluppato un modello di linguaggio “piccolo” (sLM) basato su EXAONE 3.5, capace di operare direttamente dentro il telefono con latenze ridotte, consumo energetico minimo e mantenendo prestazioni degne per compiti linguistici complessi.
La storia parte da un predecessore importante: EXAONE 3.5, la serie di modelli di linguaggio open source rilasciata a dicembre scorso da LG AI Research, nei tagli da 32B, 7,8B e 2,4B parametri. Questi modelli sono stati progettati per gestire compiti reali, con abilità di seguire istruzioni, comprendere testi lunghi e rispondere bene in contesti misti (ad esempio, coreano/inglese).
Da lì, LG Uplus ha preso il modello da 2,4 miliardi (2.4B), che già era concepito per “modelli più piccoli” e lo ha trasformato in una versione sLM che gira sulle unità neurali (NPU) degli smartphone, senza bisogno che tutto il calcolo passi necessariamente da server remoti. L’obiettivo è doppio: da una parte dare all’utente tempi di risposta rapidi e un’esperienza fluida, dall’altra ridurre drasticamente l’energia consumata e le dimensioni del modello rispetto a versioni più grandi. Secondo la dichiarazione, il nuovo sLM consuma il 78% in meno di energia e riduce le dimensioni del modello dell’82% rispetto alle versioni più “pesanti”.
Nella pratica, questo permetterà a LG Uplus di integrare il modello sLM nella sua app “Ixio” — un’applicazione che, in Corea, serve vari compiti connessi ai servizi telecom e all’uso dell’IA — ed estendere funzionalità linguistiche avanzate: riepiloghi brevi e dettagliati, estrazione di parole chiave, suggerimenti intelligenti contestuali e conversazione più naturale. Se il tuo telefono ha un chip Snapdragon 8 compatibile, potrai scaricare e usare la tecnologia sLM basata su EXAONE direttamente sul dispositivo. LG Uplus ha annunciato che, dopo test beta interni a partire da ottobre, la commercializzazione è prevista nella prima metà dell’anno prossimo.
Dietro quel “funziona sul dispositivo” c’è un’idea ambiziosa: fare in modo che la persona non percepisca la “macchina” che serve le risposte. L’IA non deve essere un servizio remoto, ma una presenza integrata, pronta, veloce, che non aspetta la rete né rallenta per latenza. Con un sLM ben progettato, l’utente può conversare, fare richieste in lingua coreana, ottenere approfondimenti senza sobbarcarsi aspettare il round-trip verso un server lontano.
Naturalmente, questo comporta compromessi tecnici: un modello piccolo non può avere tutte le capacità di un modello enorme, e occorre scegliere con cura quali componenti mantenere, quali tagliare, come ottimizzare l’architettura, la quantizzazione, la compressione, la memoria. È un equilibrio sottile.
Ma LG Uplus non si ferma qui: il piano è che, in futuro, l’architettura sLM possa evolvere per includere la versione “ExaOne 4.0” come modello base su dispositivo, affinché le migliorie dell’IA vengano progressivamente portate anche al livello locale, non solo a quello cloud. In questo modo, la traiettoria non è solo “modelli più potenti nei centri dati”, ma “potenza crescente anche nel dispositivo che hai in mano”.
Un aspetto interessante è che LG Uplus ha già applicazioni in cui piccoli modelli fanno la differenza: per esempio, nel suo sistema AI Call Advisor (un assistente alle chiamate per i call center) usa un modello derivato da EXAONE per supportare in tempo reale gli operatori, riducendo i tempi di attesa e migliorando l’efficienza del servizio di assistenza.