Il famoso framework di machine learning PyTorch, open source, sta compiendo passi avanti con l’introduzione di una nuova versione. Oltre a ciò, è in cantiere un innovativo progetto mirato a potenziare l’inferenza AI nei dispositivi mobili e edge.
Questi progressi sono stati resi noti durante la PyTorch Conference, evento che ha coinciso con il primo anno di vita della PyTorch Foundation sotto l’egida della Linux Foundation. Durante la conferenza, è stato messo in evidenza il lancio della versione PyTorch 2.1 il 4 ottobre.
Tra le novità principali spicca l’annuncio di PyTorch Edge, un’iniziativa rivolta ai dispositivi mobili ed edge, e la pubblicazione open source di ExecuTorch da parte di Meta Platforms (precedentemente conosciuta come Facebook). Quest’ultima è una piattaforma pensata per distribuire modelli AI su dispositivi, in particolar modo su quelli mobili ed edge.
È interessante notare come Meta abbia già applicato e testato questa tecnologia sui nuovi occhiali intelligenti Ray-Ban e sul visore VR Quest 3. L’idea alla base del progetto open source PyTorch è quella di avanzare ulteriormente nell’AI on-device.
Ibrahim Haddad, direttore esecutivo della PyTorch Foundation, nel discorso d’apertura ha evidenziato i successi ottenuti dall’organizzazione nell’arco dell’ultimo anno. “La Linux Foundation ospita oltre 900 progetti, tra cui PyTorch, che è un esempio eccellente di come una piattaforma open possa supportare la crescita dei progetti”, ha dichiarato Haddad.
Molte delle potenti architetture di intelligenza artificiale, come i modelli LLM famosi a livello mondiale, si avvalgono di PyTorch, tra cui i modelli GPT di OpenAI e Meta’s Llama.
Sebbene PyTorch fosse tradizionalmente meno utilizzato per l’inferenza, la situazione sta cambiando. IBM ha recentemente illustrato come PyTorch 2.1 possa potenziare l’inferenza nelle soluzioni server.
PyTorch 2.1 apporta anche miglioramenti significativi, tra cui supporto per forme dinamiche automatiche e traduzioni delle operazioni NumPy in PyTorch, potenziando alcune operazioni comuni nella data science.
Nel corso di una sessione della conferenza, Mergen Nachin di Meta ha dettagliato la funzione di ExecuTorch. Nachin ha sottolineato come ExecuTorch rappresenti una soluzione end-to-end per l’AI on-device, in particolare per dispositivi edge.
ExecuTorch risponde alle esigenze dei dispositivi edge offrendo un percorso unico, dal modello PyTorch al programma ottimizzato. La portabilità di ExecuTorch è un punto di forza, assicurando performance sia su dispositivi mobili che embedded.
L’innovazione di ExecuTorch è stata verificata da test pratici, come dimostra la sua applicazione negli occhiali intelligenti Ray-Ban di Meta.
Con ExecuTorch ora disponibile come open source attraverso la PyTorch Foundation, l’aspirazione è quella di unire le forze per superare la frammentazione nella realizzazione dei modelli AI per i dispositivi edge. Meta è convinta che ExecuTorch possa supportare molteplici entità a capitalizzare sull’AI on-device grazie alla sua efficacia e portabilità.
“Abbiamo rilasciato ExecuTorch come open source e siamo solo all’inizio. Il nostro desiderio è di lavorare con la comunità, raccogliendo feedback e collaborando”, ha concluso Nachin.