Meta ha annunciato il rilascio di due modelli aggiornati di intelligenza artificiale (AI) ottimizzati per dispositivi mobili e edge: “Llama 3.2 1B” e “3B”. Questi modelli ultra-compatti promettono di rendere la competizione nel campo dell’AI sui dispositivi ancora più intensa.
Le nuove versioni sono compresse rispetto ai modelli di solo testo presentati alla conferenza annuale degli sviluppatori “Connect 2024” lo scorso settembre. Offrono un’esecuzione fino a quattro volte più veloce e utilizzano meno della metà della memoria rispetto alle versioni precedenti.
La compressione dei modelli avviene tramite una tecnica chiamata “quantizzazione”, che semplifica i calcoli matematici alla base dei modelli AI. Questa tecnologia riduce le dimensioni del modello diminuendo la precisione dei pesi del modello stesso.
Meta ha combinato due metodi per la quantizzazione:
- QLoRA: Questa tecnica di regolazione fine consente di mantenere la stessa precisione di un modello non compresso utilizzando un adattatore LoRA con una configurazione a basso bit.
- SpinQuant: Questo metodo determina la migliore combinazione di pesi a basso bit per la compressione, garantendo prestazioni ottimali a seconda del dispositivo.
Nei test di prestazione, i modelli compresso hanno mostrato una riduzione media delle dimensioni del 56% rispetto alle versioni precedenti e un miglioramento della velocità di elaborazione delle inferenze da due a quattro volte. Ad esempio, su un dispositivo Android “OnePlus 12”, è stato osservato un utilizzo della memoria ridotto in media del 41% senza compromettere le prestazioni.
Meta ha collaborato con Qualcomm e MediaTek per ottimizzare l’hardware system-on-chip (SoC) basato su ARM. Inoltre, utilizza il kernel AI “Kleidi”, anch’esso basato su ARM, per garantire il funzionamento su CPU mobili. Questo permette agli sviluppatori di creare applicazioni AI immediatamente, senza dover attendere aggiornamenti dei sistemi Android o iOS.
Nel contesto attuale, Google ha lanciato modelli open source chiamati “Gemma”, mentre Microsoft ha presentato “Pi”. Meta, pioniera nel settore dell’open source, sta quindi lanciando una seria sfida al mercato dell’intelligenza artificiale sui dispositivi con i suoi nuovi modelli.
Le versioni compresse di Llama 3.2 1B e 3B possono essere scaricate dal sito web di Llama e da Hugging Face.