“L’hardware per l’apprendimento automatico viene sfruttato oggi”, ha affermato Jack Dongarra, scienziato informatico americano e vincitore del premio Turing. Chiedendo a qualsiasi sviluppatore, si potrà constatare quanto sia costoso eseguire o creare un modello GPT. La ragione principale di ciò è la dipendenza dalle GPU tradizionali o obsolete, che costituisce un problema urgente.
Dongarra ha ulteriormente sottolineato la necessità di una migliore comprensione dell’utilizzo efficace di queste risorse. Ha sostenuto l’identificazione di applicazioni e ambienti appropriati in cui possono essere impiegati in modo ottimale. Ha anche sottolineato l’importanza di sviluppare framework software che guidino i calcoli in modo efficiente e supportino reciprocamente le capacità hardware.
Allora, qual è la soluzione? Guardando al futuro, Dongarra immagina un approccio multidimensionale all’informatica, in cui varie tecnologie, tra cui CPU, GPU, apprendimento automatico, elaborazione neuromorfica, ottica e quantistica, convergono all’interno di computer ad alte prestazioni.
“La computazione quantistica è qualcosa che è all’orizzonte. Quindi vedo ciascuno di questi dispositivi come parte dello spettro che potremmo combinare nel nostro computer ad alte prestazioni. È un’interessante gamma di dispositivi che metteremo insieme. Capire come utilizzarli in modo efficiente sarà una sfida maggiore”, ha affermato il 72enne studioso.
Facendo un confronto tra il capitale e l’innovazione, Dongarra ha affermato: “Amazon ha il proprio set di risorse hardware, Graviton. Google ha TPU. Microsoft ha il proprio hardware che distribuisce nel suo cloud. Queste aziende hanno risorse finanziarie considerevoli che possono investire nell’hardware, affrontando problemi specifici e solidi. Questo è abbastanza diverso da quello che sperimentiamo nel campo del calcolo ad alte prestazioni, dove non abbiamo la stessa quantità di risorse finanziarie per investire nell’hardware per risolvere i nostri problemi specifici”.
Confrontando la capacità tecnologica di Apple con quelle delle società tradizionali di computer, come HP e IBM, Dongarra ha evidenziato una differenza significativa nella capitalizzazione di mercato. Mentre il valore di Apple raggiunge trilioni di dollari, la capitalizzazione di mercato combinata di HP e IBM è inferiore al trilione di dollari. “Abbiamo aziende basate sul cloud con entrate enormi che possono essere innovative e costruire il proprio hardware. Ad esempio, gli iPhone sono costituiti da molti processori progettati specificamente per supportare ciò che fa l’iPhone. Stanno sostituendo il software con l’hardware. Lo fanno perché è più veloce e abbastanza diverso dalla comunità del calcolo ad alte prestazioni in generale”, ha spiegato.
D’altra parte, i supercomputer sono principalmente costruiti utilizzando componenti standard di giocatori come Intel e AMD. Questi processori sono spesso integrati con GPU e l’intero sistema è connesso tramite tecnologie come InfiniBand o Ethernet. Dongarra ha spiegato che la comunità scientifica, che fa affidamento su questi supercomputer, deve affrontare vincoli di finanziamento che limitano la loro capacità di investire nello sviluppo di hardware specializzato.
IBM è stata un leader nel campo dei computer quantistici, ma la scorsa settimana, durante l’evento Think, il CEO Arvind Krishna ha presentato una visione che sottolinea il potenziale della combinazione di tecnologia cloud ibrida, intelligenza artificiale e calcolo quantistico per il prossimo decennio. Nonostante l’azienda sia spesso considerata tradizionale per la sua attenzione all’hardware, il recente interesse nell’IA generativa dimostra il contrario.
“Originariamente, volevo diventare un insegnante di scuola superiore”, ha detto Dongarra. All’epoca in cui stava studiando, l’informatica non era nemmeno sviluppata come disciplina. La sua passione per i metodi numerici e lo sviluppo del software è nata durante la sua permanenza all’Argonne National Laboratory vicino a Chicago. Mentre lavorava allo sviluppo di software per calcoli numerici, la sua esperienza ha consolidato il suo interesse in questo campo. Questo momento cruciale lo ha spinto a conseguire un master mentre lavorava a tempo pieno per la progettazione di pacchetti software di algebra lineare portabili che hanno ottenuto riconoscimento a livello mondiale.
Poco dopo, Dongarra si è trasferito all’Università del New Mexico, dove ha dato un contributo rivoluzionario creando il benchmark LINPACK, che misura le prestazioni dei supercomputer. Nel 1993, insieme a Hans Meuer, ha creato la famosa lista Top500, che tiene traccia dei progressi nel campo del calcolo ad alte prestazioni e identifica i computer più veloci al mondo.
Oggi, Dongarra continua a plasmare il futuro dell’informatica attraverso la sua ricerca presso l’Università del Tennessee, che esplora la convergenza tra supercalcolo e intelligenza artificiale. Mentre l’intelligenza artificiale e l’apprendimento automatico continuano a guadagnare slancio, il suo lavoro si concentra sull’ottimizzazione delle prestazioni degli algoritmi su sistemi ad alte prestazioni, consentendo calcoli più veloci e accurati.
Negli anni ’80, Jack Dongarra è emerso come un luminare nel campo dell’informatica, in un’epoca in cui l’innovazione regnava sovrana. “Quasi ogni volta, vediamo persone nel campo del calcolo che cercano modi alternativi per risolvere i problemi e vedono l’IA come una possibilità. Ma l’intelligenza artificiale non risolverà i problemi da sola; piuttosto, aiuterà nel processo di risoluzione dei problemi”, ha affermato il vincitore del Premio Turing ACM 2021. Dongarra è stato premiato per i suoi contributi che hanno garantito che il software per il calcolo ad alte prestazioni rimanesse allineato con i progressi nella tecnologia hardware.
“L’intelligenza artificiale ha recentemente guadagnato slancio per diversi motivi”, ha affermato Dongarra. “Uno di questi è la disponibilità di enormi quantità di dati su Internet, che possono essere utilizzati per il processo di addestramento. Inoltre, abbiamo processori in grado di eseguire calcoli ad alta velocità e dispositivi informatici che possono essere ottimizzati e utilizzati in modo efficace per supportare l’addestramento”.
Dongarra ha anche sottolineato il ruolo cruciale dell’algebra lineare negli algoritmi di intelligenza artificiale, evidenziando l’importanza di algoritmi di moltiplicazione di matrici efficienti e di algoritmi di discesa ripida. “Molte cose si sono allineate per rendere l’IA e il machine learning risorse estremamente utili. L’intelligenza artificiale ha avuto un impatto significativo in diverse aree scientifiche, come la scoperta di farmaci, la modellazione climatica, la biologia, la cosmologia e la fisica delle particelle ad alta energia”, ha aggiunto.
Per quanto riguarda l’intelligenza artificiale generale (AGI), Dongarra ritiene che le macchine dovrebbero essere sviluppate per automatizzare compiti ripetitivi e assistere nelle simulazioni scientifiche e nella modellazione. Tuttavia, sottolinea la necessità di procedere con cautela, poiché l’abbondanza di informazioni non filtrate disponibili su Internet può essere fuorviante. “Il film ‘2001: Odissea nello spazio’ è ancora rilevante perché esplora il tema dell’intelligenza artificiale con un computer che perde il controllo di una missione e causa danni lungo il percorso. Mi ha sempre affascinato e la storia rimane attuale. Ha molti elementi che sono rilevanti anche oggi”, ha concluso Dongarra.
Così, Jack Dongarra ha contribuito in modo significativo allo sviluppo dell’informatica, garantendo che il software computazionale ad alte prestazioni restasse all’avanguardia rispetto ai progressi nella tecnologia hardware. Attraverso la sua ricerca e il suo lavoro, continua a plasmare il futuro dell’informatica, concentrandosi sull’ottimizzazione delle prestazioni degli algoritmi su sistemi ad alte prestazioni e sulla convergenza tra supercalcolo e intelligenza artificiale.