Apple ha introdotto il suo primo Neural Engine a settembre 2017.
Apple sta fornendo l’open source di un’implementazione PyTorch di riferimento dell’architettura Transformer per aiutare gli sviluppatori a distribuire i modelli Transformer sui dispositivi Apple. Nel 2017 Google ha lanciato i modelli Transformers. Da allora, è diventato il modello preferito per i problemi di elaborazione del linguaggio naturale (NLP).
Il meccanismo di auto-attenzione di Transformers aiuta i modelli a concentrarsi su alcune parti dell’input e ragionare in modo più efficace. Il Generative Pretrained Transformer (GPT-3) e il Bidirectional Encoder Representations di Transformers (BERT) sono alcuni dei modelli di trasformatori popolari.
Apple sta ora sfruttando l’architettura Transformer per un numero crescente di modelli ML. Questa architettura consente di abilitare esperienze come la segmentazione panottica in Camera con HyperDETR, l’analisi della scena sul dispositivo in Foto, i sottotitoli delle immagini per l’accessibilità, la traduzione automatica e molti altri.
Motori neurali Apple
Apple ha introdotto il suo primo Neural Engine a settembre 2017 come parte del chip Apple A11 “Bonic”. Nel 2018 ha rilasciato un’API denominata Core ML per consentire agli sviluppatori di sfruttare l’Apple Neural Engine nell’Apple A12.
Nel 2017, Neural Engine era disponibile solo su iPhone. Ora è disponibile su iPad (a partire dal chip A12) e Mac (a partire dal chip M1).
Nella recente Apple WorldWide Developers Conference ( WWDC ) 2022, Apple ha presentato l’Apple M2 con 16 core Neural Engine in grado di fornire prestazioni superiori del 40% rispetto al suo predecessore.
L’ architettura Transformer ha avuto un impatto in molti campi, tra cui la PNL e la visione artificiale. L’implementazione di riferimento di PyTorch è specificamente ottimizzata per l’Apple Neural Engine (ANE), che è un gruppo di core specializzati che funzionano come unità di elaborazione neurale (NPU) per accelerare i carichi di lavoro di AI e ML.
Secondo Apple , l’implementazione aiuterà gli sviluppatori a ridurre al minimo l’impatto dei loro carichi di lavoro di inferenza ML sulla memoria dell’app, sulla reattività e sulla durata della batteria del dispositivo. La crescente adozione della distribuzione di ML sul dispositivo farà anche molto per proteggere la privacy degli utenti poiché i dati per i carichi di lavoro di inferenza rimangono sul dispositivo.
Apple ha condiviso quattro importanti principi alla base dell’implementazione di riferimento per aiutare gli sviluppatori a ottimizzare i propri modelli per l’esecuzione ANE.
Principio 1: scegliere il formato dati corretto
Principio 2: Chunking di grandi tensori intermedi
Principio 3: riduzione al minimo delle copie in memoria
Principio 4: Gestione della larghezza di banda-limite
Qual è il vero motivo?
Apple, in generale, non è nota per il suo contributo all’IA e al ML, anche se l’azienda ha investito molto in queste tecnologie.
Come azienda, Apple si comporta come una setta. Nessuno sa cosa c’è dentro le quattro mura di Apple. Per l’uomo comune, Apple è un’azienda di elettronica di consumo a differenza di giganti della tecnologia come Google o Microsoft. Google, ad esempio, è considerato un leader nell’IA, con i migliori talenti dell’IA che lavorano per l’azienda e ha pubblicato numerosi documenti di ricerca nel corso degli anni. Google possiede anche Deepmind, un’altra società leader nella ricerca sull’IA.
Apple sta lottando con il reclutamento dei migliori talenti dell’IA e per buoni motivi. “Apple, con la sua immagine del marchio di datore di lavoro tra i primi cinque ranghi, ha attualmente difficoltà a reclutare i migliori talenti dell’IA. In effetti, per consentire alle potenziali reclute di vedere parte dell’entusiasmante lavoro di apprendimento automatico che sta avvenendo in Apple, recentemente ha dovuto alterare la sua cultura incredibilmente segreta e offrire un Apple Machine Learning Journal pubblicamente visibile”, ha affermato l’autore del dott. John Sullivan .
Negli ultimi due anni, Apple ha aumentato il suo coinvolgimento con la comunità AI/ML.
Nel 2016, Apple ha annunciato che avrebbe consentito ai suoi ricercatori di AI e ML di pubblicare e condividere il proprio lavoro. L’anno prossimo, il primo documento accademico pubblicato da Apple ha vinto un Best Paper Award alla Conferenza 2017 su Computer Vision & Pattern Recognition. Nel corso degli anni, ha lanciato strumenti AI/ML per velocizzare l’apprendimento automatico su iPhone. Ad esempio, Apple ha iniziato a utilizzare il deep learning per il rilevamento dei volti in iOS 10. Con il rilascio del framework Vision, gli sviluppatori possono ora utilizzare questa tecnologia e molti altri algoritmi di visione artificiale nelle loro app. “Abbiamo affrontato sfide significative nello sviluppo del framework in modo da poter preservare la privacy degli utenti e funzionare in modo efficiente sul dispositivo”. Apple ha anche lanciato il sito Web “Apple Machine Learning Journal”.
Nel 2020, il colosso tecnologico con sede a Cupertino ha annunciato un nuovo programma di residenza per esperti di intelligenza artificiale e ML. L’ultima mossa per l’open source di un’implementazione PyTorch di riferimento per l’implementazione dell’architettura Transformer su Apple Neural Engine segnala anche un cambiamento nell’atteggiamento di Apple nei confronti dell’open source.
