Quando parli di AI e IBM, le persone in genere pensano a Watson e, più recentemente, a Project Debater. Ma IBM Research sta anche lavorando a strumenti di intelligenza artificiale e acceleratori più generalizzati per le applicazioni del data center. IBM Research ha un AI Hardware Center vicino ad Albany, NY, che ha studiato una serie di progetti che coinvolgono prestazioni di intelligenza artificiale più generalizzate e miglioramenti della potenza. L’obiettivo finale per IBM è migliorare l’efficienza energetica dei calcoli AI. A tal fine, gran parte dei documenti della conferenza accademica e tecnica usciti dal gruppo AI si sono concentrati sulla riduzione della precisione dei dati sia per l’addestramento che per l’inferenza per ridurre l’energia consumata dall’elaborazione dell’IA. Sebbene questi siano stati risultati della ricerca tecnica fino ad ora, ci sono indizi che IBM porterà la ricerca a un supporto di data center più mainstream per l’elaborazione dell’IA.
Per utilizzare in modo efficace l’hardware AI, è fondamentale che ci sia il giusto supporto software. Inoltre, poiché la maggior parte dell’hardware AI è unico, è fondamentale che il supporto software nasconda l’hardware sottostante. I migliori strumenti software consentono ai programmatori di utilizzare il nuovo hardware senza una profonda conoscenza tecnica della sua struttura. Il codice di regolazione manuale è molto inefficiente e limita il numero di programmatori che possono utilizzarlo. Il software moderno dovrebbe auto-ottimizzare la formazione e l’inferenza dei modelli di intelligenza artificiale per l’hardware personalizzato. Ora ciò può sembrare ovvio perché la maggior parte degli acceleratori di intelligenza artificiale sono unici per se stessi in quanto non esistono accelerazioni hardware standard del settore per l’IA, ma non diminuisce l’importanza.
IBM è una delle aziende che lavora su tali livelli di astrazione del software con ottimizzazioni per l’approccio unico di IBM alla formazione e inferenza di IA con precisione di bit ridotta. Recentemente ha descritto la sua soluzione hardware per l’addestramento e l’inferenza di precisione ridotta all’ISSCC. Nel documento la società ha descritto come potrebbe addestrare reti neurali profonde con definizioni di bit significativamente inferiori con lo stesso tasso di errore (cioè con iso-accuratezza) dei modelli sviluppati con matematica in virgola mobile a 32 bit. Utilizzando meno bit / aritmetica di precisione inferiore significa meno commutazione logica e meno utilizzo della memoria, che riduce il consumo totale di energia.
BLOG DI RICERCA IBMPresentazione del chip AI leader mondiale nel ridimensionamento di precisione | Blog di ricerca IBMRidurre il consumo di energia e le dimensioni della memoria è importante man mano che i modelli diventano sempre più grandi. Tecniche come la precisione ridotta possono essere adottate per rendere questi modelli più gestibili piuttosto che continuare a costruire sistemi hardware sempre più grandi da supportare. Questi sistemi di grandi dimensioni sono ottimi per i produttori di hardware, ma alla fine possono essere insostenibili.
All’ISSCC 2021, IBM ha mostrato il suo chip di test di inferenza e addestramento a quattro core a 7 nm che utilizza un formato a virgola mobile ibrido a 8 bit per l’addestramento e un formato intero a 4 bit e 2 bit per l’inferenza. Ciò che il documento ISSCC non ha descritto è stato il livello software utilizzato per supportare l’hardware e il software unici che IBM sta utilizzando per portare il proprio approccio alla formazione e all’inferenza sull’apprendimento automatico a un pubblico più ampio.
I data scientist e gli sviluppatori di modelli di intelligenza artificiale spesso addestrano e distribuiscono i loro modelli di intelligenza artificiale con framework open source come TensorFlow e PyTorch. È quindi essenziale integrare perfettamente lo stack software per l’hardware AI con questi framework di Deep Learning e il team IBM lo ha fatto per facilitare l’adozione da parte della comunità degli sviluppatori. Per facilitare l’integrazione del proprio stack con diversi framework, il team ha creato un livello API (Application Programming Interface) comune, che fornisce un semplice set di estensioni software che possono essere collegate ai framework. Inoltre, il loro stack software integra strettamente la catena di strumenti del compilatore IBM, DEEPTOOLS, al fine di ottimizzare le prestazioni. DEEPTOOLS supporta diverse modalità di esecuzione come eager, per lo sviluppo e l’addestramento del modello e basata su grafici, per la distribuzione ottimizzata, che la comunità di sviluppo dell’IA desidera. DEEPTOOLS comprende due componenti chiave: un runtime del compilatore chiamato DEEPRT e un runtime di esecuzione chiamato RAPIDLIB. DEEPRT acquisisce il grafico proveniente dal framework DL e identifica le parti che possono essere eseguite sull’acceleratore AI di IBM. DEEPTOOLS è stato utilizzato per generare programmi per i chip di prova RaPiD (VLSI 2018, 2020).
BLOG DI RICERCA IBMCalcolo approssimativo per l’accelerazione AI su chip: ricerca IBM presso VLSIDEEPTOOLS ora supporta la generazione di programmi per il nuovo chip di prova a 7 nm con precisioni di bit ridotte. Il compilatore offre la flessibilità di scegliere la precisione per ogni livello del modello per ottimizzare il codice generato. L’obiettivo del progetto software globale IBM AI è rendere l’accelerazione facile da usare e trasparente per il programmatore. Una parte importante di ciò è anche che può essere integrato con una piattaforma aperta come Open Shift di Red Hat.
Portare la ricerca sul mercato
Il motivo per cui la ricerca sull’IA di IBM è così interessante è che si sta avvicinando presto all’implementazione nei sistemi aziendali reali. Il team del software sta già lavorando a stretto contatto con Red Hat per le applicazioni cloud ibride che utilizzano open shift. Il fatto che IBM abbia mostrato un prototipo di chip che accelera la formazione e l’inferenza del deep learning, quindi anche un’indicazione delle cose a venire dal lato hardware. Anche se questo sta posizionando IBM per fornire potenti strumenti per l’AI aziendale.
Con il lavoro che il team software IBM sta facendo con Red Hat Open Shift indica che stanno lavorando per incorporare la virtualizzazione e l’isolamento nello stack di machine learning da zero. Con la toolchain di IBM saranno in grado di offrire un’interfaccia standard per applicazioni di machine learning e il programmatore non avrà bisogno di conoscere i dettagli dell’hardware di accelerazione sottostante.
Con l’attenzione di IBM sulla riduzione del consumo di energia e sull’espansione delle capacità per l’AI, IBM ha l’opportunità di fornire una soluzione AI molto efficiente che sia facile da usare dai programmatori.
