Gli ingegneri di Qualcomm hanno affrontato la sfida di far funzionare Stable Diffusion, uno dei modelli di intelligenza artificiale generativa più avanzati al mondo, su dispositivi smartphone Android. In precedenza, gli utenti potevano generare immagini AI generative Stable Diffusion sui propri telefoni solo in modo indiretto, utilizzando un’app mobile o un browser che accedeva a un servizio cloud per generare l’immagine. Tuttavia, grazie all’utilizzo di tecniche software e ottimizzazione hardware, Qualcomm ha dimostrato di poter eseguire modelli di inferenza direttamente su uno smartphone Android, senza la necessità di chiamare il cloud per fare il lavoro pesante.
La tecnologia necessaria per addestrare modelli di intelligenza artificiale generativa è enorme e non funzionerà su uno smartphone, ma Qualcomm si è concentrata sul lato dell’inferenza, ovvero il pezzo “generativo”, che consente di creare una nuova immagine dal modello preaddestrato. La parte di inferenza viene eseguita sul processore Hexagon, che è un design completamente personalizzato per l’accelerazione AI da parte degli ingegneri Qualcomm e fa parte del silicio Snapdragon 8 Gen 2.
Tuttavia, Stable Diffusion presenta diverse sfide per l’esecuzione diretta su uno smartphone, in quanto la dimensione del modello supera 1,1 miliardi di parametri e il calcolo associato è più di 10 volte la dimensione dei carichi di lavoro tipici eseguiti su uno smartphone. Per risolvere questo problema, Qualcomm ha utilizzato il suo stack AI, un portafoglio di strumenti di intelligenza artificiale progettati per aiutare a ottimizzare modelli e carichi di lavoro. In particolare, sono state utilizzate le capacità di quantizzazione post-addestramento dell’AI Model Efficiency Toolkit (AIMET) per ridurre la dimensione del modello e aumentare le prestazioni.
La demo che Qualcomm ha realizzato per dimostrare le sue capacità è in esecuzione su un dispositivo Qualcomm Reference Design con l’ultima piattaforma mobile Snapdragon 8 Gen 2, che si trova oggi in molti dispositivi commerciali. Guardando al futuro, Qualcomm si baserà sulle lezioni apprese per portare altri grandi modelli di intelligenza artificiale generativa (ad esempio modelli simili a GPT) dal cloud al dispositivo, e le ottimizzazioni apportate per Stable Diffusion possono essere utilizzate anche per altre piattaforme come laptop, cuffie XR e praticamente qualsiasi altro dispositivo alimentato da Qualcomm Technologies.