Il team di ricerca dell’Università Tsinghua ha presentato una serie di modelli multimodali leggeri (LMM) denominata GLM-Edge, progettata per operare efficacemente su dispositivi edge senza la necessità di connessione a server cloud. Questa innovazione mira a potenziare l’intelligenza artificiale on-device, offrendo soluzioni ottimizzate per ambienti con risorse limitate.
La serie GLM-Edge comprende modelli con un numero di parametri che varia da 1,5 a 5 miliardi, integrando funzionalità linguistiche e visive in un’unica architettura. Questa integrazione consente al modello di gestire compiti complessi con bassa latenza, come l’elaborazione del linguaggio naturale e attività di visione artificiale quali il rilevamento di oggetti e la generazione di didascalie per immagini.
Per garantire prestazioni elevate su dispositivi con capacità computazionali e di memoria limitate, i ricercatori hanno implementato tecniche di quantizzazione a 8 e 4 bit, riducendo significativamente le esigenze di memoria e calcolo. Inoltre, l’adozione di tecniche come il knowledge distillation e il pruning ha permesso di mantenere un’elevata accuratezza nonostante la riduzione delle dimensioni del modello.
L’esecuzione locale dei modelli GLM-Edge offre numerosi benefici, tra cui una maggiore protezione della privacy dei dati, una riduzione della latenza e la possibilità di operare offline. Queste caratteristiche rendono GLM-Edge particolarmente adatto per applicazioni in cui la sicurezza dei dati e la reattività sono fondamentali.
Nei test di benchmark, GLM-Edge-1.5B ha dimostrato prestazioni paragonabili a modelli Transformer di dimensioni maggiori, eccellendo in compiti di elaborazione linguistica e visiva. Attualmente, la serie GLM-Edge è disponibile come open source su piattaforme come GitHub e Hugging Face, ed è utilizzabile anche per scopi commerciali.
Questa iniziativa dell’Università Tsinghua rappresenta un passo significativo verso l’espansione delle capacità dell’intelligenza artificiale su dispositivi edge, promuovendo soluzioni più sicure ed efficienti per una vasta gamma di applicazioni.