Meta ha recentemente reso open-source MobileLLM, una serie di modelli linguistici ottimizzati per dispositivi mobili, rendendo disponibili i checkpoint dei modelli e il codice su Hugging Face. Tuttavia, al momento, questi sono accessibili solo sotto una licenza Creative Commons 4.0 non commerciale, il che significa che le aziende non possono utilizzarli in prodotti commerciali.
Descritti inizialmente in un articolo di ricerca pubblicato a luglio 2024, MobileLLM affronta le sfide legate all’implementazione di modelli di intelligenza artificiale su smartphone e altri dispositivi con risorse limitate. Con un numero di parametri che varia da 125 milioni a 1 miliardo, questi modelli sono progettati per operare all’interno delle limitazioni di memoria ed energia tipiche dell’hardware mobile. Contrariamente all’approccio tradizionale che enfatizza la larghezza e l’elevato numero di parametri, MobileLLM si concentra su architetture profonde e sottili per massimizzare le prestazioni, migliorando la comprensione di concetti astratti da parte del modello.
Yann LeCun, Chief AI Scientist di Meta, ha evidenziato l’importanza di queste strategie focalizzate sulla profondità per abilitare un’IA avanzata su hardware di uso quotidiano. MobileLLM incorpora diverse innovazioni per rendere più efficaci i modelli di dimensioni ridotte, tra cui:
Profondità rispetto alla larghezza: utilizza architetture profonde che hanno dimostrato di superare quelle più larghe ma meno profonde in scenari su piccola scala.
Tecniche di condivisione degli embedding: massimizzano l’efficienza dei pesi, fondamentale per mantenere un’architettura del modello compatta.
Attenzione a query raggruppate: ottimizza i meccanismi di attenzione, ispirandosi a lavori precedenti.
Condivisione immediata dei pesi a livello di blocco: una strategia innovativa per migliorare l’efficienza senza aumentare le dimensioni del modello.
Questa iniziativa rappresenta un passo significativo verso l’implementazione di modelli di intelligenza artificiale efficienti direttamente sui dispositivi mobili, offrendo nuove opportunità per sviluppatori e ricercatori nel campo dell’IA.