Microsoft sta concentrando maggiormente le sue risorse nello sviluppo di Small Language Models (SLM). Durante la conferenza degli sviluppatori Build, l’azienda ha annunciato che i suoi modelli Phi-3 sono ora disponibili per tutti e ha dato un’anteprima del Phi-3-vision. Inoltre, in seguito all’introduzione di Copilot+ PC, Microsoft sta lanciando un SLM progettato specificamente per le potenti unità di elaborazione neurale (NPU) di questi dispositivi.
Phi-3-Silica sarà incluso in tutti i PC Copilot+ che verranno messi in vendita a partire da giugno. Questo è il modello Phi più piccolo, con 3,3 miliardi di parametri.
L’obiettivo di Microsoft è quello di costruire un’intelligenza artificiale affidabile, sicura e facilmente scalabile. Affermano che Phi-3-Silica ha una latenza del primo token di 650 token al secondo e utilizza circa 1,5 Watt di potenza, il che significa che non sovraccaricherà le risorse del PC e lascerà libera la CPU e la GPU per altri compiti. Inoltre, la generazione di token riutilizza la cache KV della NPU e verrà eseguita sulla CPU, producendo circa 27 token al secondo.
Un portavoce di Microsoft ha spiegato che ciò che rende unico Phi-Silica è il suo ruolo come primo modello linguistico di Windows distribuito localmente. È stato ottimizzato per funzionare sulle NPU dei PC Copilot+, garantendo un’inferenza locale estremamente veloce sul dispositivo dell’utente. Questo segna un passo importante nell’introduzione dell’intelligenza artificiale avanzata direttamente agli sviluppatori terzi ottimizzati per Windows, che potranno creare esperienze di alta qualità per gli utenti finali, aumentando la produttività e l’accessibilità nell’ecosistema Windows.
Phi-Silica è la quinta variante del modello Phi-3 di Microsoft, aggiungendosi a Phi-3-mini con 3,8 miliardi di parametri, Phi-3-small con 7 miliardi di parametri, Phi-3-medium con 14 miliardi di parametri e Phi-3-vision con 4,2 miliardi di parametri.