DeepMind svela la prima IA a scoprire algoritmi di moltiplicazione di matrici più veloci
Crea i tuoi algoritmi per accelerare la moltiplicazione delle matrici, uno di questi Apprendimento automatico La funzione più elementare? In un articolo pubblicato oggi The nature , DeepMind ha svelato Alpha Tensor, “il primo sistema di intelligenza artificiale per scoprire algoritmi nulli, efficienti e dimostrabili corretti”. Il laboratorio di proprietà di Google ha affermato che la ricerca “fa luce” su una domanda aperta di 50 anni in matematica sul modo più veloce per moltiplicare due matrici.
Da quando l’algoritmo di Strassen è stato pubblicato nel 1969, l’informatica ha cercato di superare la velocità di moltiplicazione di due metriche. Sebbene la moltiplicazione di matrici sia una delle operazioni algebriche più semplici insegnate nella matematica delle scuole superiori, è uno dei compiti computazionali più fondamentali e, a quanto pare, la funzione matematica fondamentale nelle reti neurali odierne. Una delle operazioni è
La moltiplicazione della matrice viene utilizzata per elaborare le immagini dello smartphone, comprendere i comandi vocali, creare computer grafica per giochi per computer, compressione dei dati e altro ancora. Oggi le aziende utilizzano hardware GPU costoso per aumentare le prestazioni di moltiplicazione di matrici, quindi qualsiasi velocità aggiuntiva cambierà il gioco in termini di riduzione dei costi e risparmio energetico.
Il tensore alfa, corrispondente a un post sul blog di Deep Mind, si basa su Alpha Zero, un agente che ha mostrato prestazioni disumane su giochi da tavolo come scacchi e Go. Questo nuovo lavoro porta il viaggio di AlphaZero ancora più lontano, passando dal gioco all’affrontare problemi matematici irrisolti.
DeepMind utilizza l’IA per migliorare l’informatica.
Pushmeet Kohli, capo di AI for Science presso DeepMind, ha affermato in una conferenza stampa che la ricerca fa luce su come l’IA può essere utilizzata per migliorare l’informatica.
“Se siamo in grado di utilizzare l’IA per trovare nuovi algoritmi per attività di calcolo di base, c’è molto potenziale perché possiamo andare oltre gli algoritmi che stiamo attualmente utilizzando, che sono migliori”, ha affermato. può portare alla performance”.
Questo è un compito particolarmente impegnativo, ha spiegato, perché il processo di scoperta di nuovi algoritmi è molto difficile e automatizzare la scoperta algoritmica utilizzando l’IA richiede un processo di ragionamento lungo e difficile: dallo sviluppo di una visione di un problema algoritmico alla scrittura e alla dimostrazione di un romanzo algoritmo. che l’algoritmo è corretto su istanze specifiche.
“È una fase difficile e l’IA non è stata molto brava finora”, ha detto.
Un “problema interessante e sbalorditivo”
DeepMind ha affrontato la sfida della moltiplicazione delle matrici perché è un problema ben noto nel calcolo, ha affermato.
“È anche un problema molto interessante e strabiliante perché la moltiplicazione di matrici è qualcosa che impariamo al liceo”, ha detto. “È un’operazione molto semplice, ma al momento non conosciamo il modo migliore per moltiplicare questi due insiemi di numeri. Quindi è anche molto motivante per noi ricercatori iniziare a capirlo meglio.
Secondo DeepMind, Alpha Tensor ha scoperto algoritmi più efficienti dello stato dell’arte per molte dimensioni di matrice e migliori di quelli progettati dall’uomo.
Kohli ha spiegato che il tensore alfa inizia senza alcuna conoscenza del problema, quindi impara gradualmente cosa sta succedendo e migliora nel tempo. “Prima esplora gli algoritmi della classe che ci sono stati insegnati, quindi esplora algoritmi storici come quello di Strawson e poi, a un certo punto, li supera e scopre algoritmi nuovi di zecca. Che sono più veloci che mai”.
Kohli ha affermato di sperare che il documento ispiri gli altri a utilizzare l’IA per guidare la scoperta algoritmica per altri compiti principali della concorrenza. “Pensiamo che questo sia un grande passo avanti nel nostro modo di utilizzare davvero l’IA per la scoperta algoritmica”, ha affermato.
AlphaTensor di DeepMind utilizza AlphaZero.
Secondo l’ingegnere di ricerca del personale di DeepMind, Thomas Hubert, in realtà è Alpha Zero che corre dietro le quinte di Alpha Tensor come un gioco per giocatore singolo. “È lo stesso algoritmo che ha imparato a giocare a scacchi che è stato applicato qui per la moltiplicazione di matrici, ma doveva essere ridimensionato per gestire questo spazio infinitamente grande, ma molti dei componenti sono gli stessi”, ha affermato. disse
In effetti, secondo DeepMind, il gioco è così impegnativo che “il numero di possibili algoritmi supera di gran lunga il numero di atomi nell’universo, anche per piccoli casi di moltiplicazione di matrici”. Rispetto a Go, che è stata una sfida dell’IA per decenni, il numero di mosse possibili è di 30 ordini di grandezza superiore.
“Il gioco consiste essenzialmente nell’azzeramento di un tensore, con alcune mosse consentite che in realtà rappresentano alcune operazioni algoritmiche”, ha spiegato. “Questo ci dà due risultati molto importanti: uno è che se riesci a scomporre esattamente un tensore, hai quasi la certezza di ottenere un algoritmo corretto. In secondo luogo, il numero di passaggi per scomporre quel tensore aumenta in realtà ti dice la complessità dell’algoritmo. Quindi è molto, molto pulito.
Il documento di DeepMind ha anche sottolineato che gli algoritmi di moltiplicazione della matrice del tensore alfa esplorano uno spazio più ricco di quanto si pensasse in precedenza, fino a migliaia per ogni dimensione.
Secondo il post sul blog, gli autori hanno affermato di aver adattato AlphaTensor in modo specifico per trovare algoritmi più veloci su un determinato hardware, come la GPU Nvidia V100 e il Google TPU v2. Questi algoritmi moltiplicano grandi matrici con una velocità del 10-20% più veloce rispetto agli algoritmi comunemente usati sullo stesso hardware, dimostrando la flessibilità di AlphaTensor nell’ottimizzazione di obiettivi arbitrari”, afferma il post sul blog.
Impatto crescente dell’IA su scienza e matematica
A luglio , i ricercatori hanno dimostrato che lo strumento AlphaFold di DeepMind potrebbe prevedere le strutture di oltre 200 milioni di proteine da quasi un milione di specie, coprendo quasi tutte le proteine conosciute sulla Terra. Kohli ha affermato che AlphaTensor mostra il potenziale che l’IA ha non solo nella scienza ma anche nella matematica.
“Personalmente è incredibilmente eccitante vedere l’IA mantenere la promessa che gli scienziati umani hanno fatto negli ultimi 50 anni”, ha detto Kohli. “Mostra solo l’entità dell’impatto dell’IA e dell’apprendimento automatico”.
