AI Weekly: l’enorme modello multimodale cinese evidenzia il divario nella ricerca sull’IA AI
Questa settimana, i ricercatori dell’Accademia di intelligenza artificiale di Pechino (BAAI) hanno annunciato il rilascio di Wu Dao 2.0, un modello di intelligenza artificiale multimodale in grado di generare testi indistinguibili dalla prosa creata dall’uomo e altro ancora. Contenente 1,75 trilioni di parametri, le parti del modello di apprendimento automatico apprese dai dati di addestramento storici, Wu Dao 2.0 è 10 volte più grande del GPT-3 di 175 miliardi di parametri di OpenAI .
Wu Dao 2.0 è l’ultimo esempio di ciò che il direttore delle politiche OpenAI Jack Clark chiama diffusione del modello , o più attori statali e privati che sviluppano modelli di intelligenza artificiale in stile GPT-3. Ad esempio, Russia e Francia stanno addestrando sistemi su piccola scala tramite Sberbank e PAGnol di LightOn, mentre i Naver Labs della Corea stanno investendo nell’HyperCLOVA creato di recente . Clark osserva che poiché questi modelli riflettono e amplificano i dati su cui vengono formati, i diversi paesi si preoccupano di come le proprie culture sono rappresentate nei modelli. L’annuncio di Wu Dao 2.0, quindi, fa parte di una tendenza generale delle nazioni che affermano le proprie capacità di intelligenza artificiale tramite modelli di frontiera di addestramento come GPT-3.
Come l’apprendimento attraverso il gioco si interseca con il gioco 2
Wu Dao 2.0, che è arrivato tre mesi dopo il debutto di marzo della versione 1.0, è costruito su un sistema open source simile a Mixture of Experts di Google , soprannominato FastMoE. Mixture of Experts, un paradigma proposto per la prima volta negli anni ’90, mantiene i modelli specializzati in diverse attività all’interno di un modello più ampio utilizzando una “rete di gating”. BAAI afferma che Wu Dao 2.0 è stato addestrato con 4,9 terabyte di immagini e testi cinesi e inglesi sia su cluster di supercomputer che su GPU convenzionali, offrendo una maggiore flessibilità rispetto al sistema di Google perché FastMoE non richiede hardware proprietario.
Il design multimodale di Wu Dao 2.0 offre una gamma di competenze, inclusa la capacità di eseguire l’elaborazione del linguaggio naturale, la generazione di testo, il riconoscimento delle immagini e le attività di generazione delle immagini. Può scrivere saggi, poesie e distici in cinese tradizionale, oltre a didascalie immagini e creare opere d’arte quasi fotorealistiche, date descrizioni in linguaggio naturale. Secondo Engadget , Wu Dao 2.0 può anche alimentare “idoli virtuali” e prevedere le strutture 3D delle proteine, come AlphaFold di DeepMind .
“La strada per l’intelligenza artificiale generale sono i grandi modelli e il grande computer”, ha detto in una nota il presidente della BAAI, il dott. Zhang Hongjiang. “Quello che stiamo costruendo è una centrale elettrica per il futuro dell’IA. Con megadati, mega potenza di calcolo e mega modelli, possiamo trasformare i dati per alimentare le applicazioni AI del futuro”.
nazionalismo AI
Il rilascio di Wu Dao 2.0 arriva durante un’ondata di nazionalismo tecnologico a livello globale, in particolare in Cina e in parti dell’Eurozona. Lo scorso novembre, la Cina ha imposto nuove regole sulle esportazioni di tecnologia, con il Ministero del Commercio del paese che ha aggiunto 23 articoli al suo elenco limitato. Dopo l’ annuncio di Nvidia dell’intenzione di acquisire Arm, produttore di chip con sede nel Regno Unito, la maggior parte degli esperti IT dell’area britannica ha affermato che il governo dovrebbe intervenire per proteggere il settore tecnologico del paese, secondo un sondaggio dell’organismo professionale del settore (The Chartered Institute for IT) .
L’ex chief technology officer degli Stati Uniti Michael Kratsios, tra gli altri, ha suggerito che gli avversari di stato stanno perseguendo usi delle tecnologie di intelligenza artificiale che “non sono in linea con i valori americani”. A febbraio, la Casa Bianca ha dichiarato che aumenterebbe gli investimenti nell’IA non legati alla difesa a $ 2 miliardi all’anno entro il 2022, mentre il presidente degli Stati Uniti Joe Biden ha proposto un aumento della spesa federale per la ricerca e lo sviluppo a $ 300 miliardi in quattro anni. E un pannello del Senato degli Stati Uniti il mese scorso ha approvato l’Endless Frontier Act, in attesa di una legislazione che autorizzerebbe più di 110 miliardi di dollari per la ricerca tecnologica di base e avanzata in cinque anni.
Ma la superiorità degli Stati Uniti nell’IA è una prospettiva sempre più debole. La Francia ha recentemente annunciato un’iniziativa da 1,69 miliardi di dollari (1,5 miliardi di euro) volta a trasformare il paese in un “leader globale” nella ricerca e nella formazione sull’intelligenza artificiale. Nel 2018, la Corea del Sud ha lanciato uno sforzo pluriennale da 1,95 miliardi di dollari (2,2 trilioni di KRW) per rafforzare la sua ricerca e sviluppo nell’IA, con l’obiettivo di istituire sei scuole di specializzazione incentrate sull’intelligenza artificiale entro il 2022 e formare 5.000 specialisti di intelligenza artificiale. E la Cina, il cui piano d’azione per l’innovazione dell’IA per college e università ha chiesto la creazione di 50 nuove istituzioni di intelligenza artificiale nel 2020, dovrebbe scavalcare l’Unione europea nei prossimi anni se le tendenze attuali continueranno.
BAAI è finanziato dal governo di Pechino, che ha investito 340 milioni di yuan (53,3 milioni di dollari) nell’accademia solo nel 2018 e nel 2019. Un funzionario di Pechino si è impegnato a continuare a sostenere in un discorso del 2019.
A marzo, l’ex CEO di Google Eric Schmidt ha esortato i legislatori ad aumentare i finanziamenti nel settore dell’IA per impedire alla Cina di diventare il più grande attore nel mercato globale dell’IA. Schmidt ha suggerito di raddoppiare il budget nazionale per la ricerca e lo sviluppo nell’intelligenza artificiale ogni anno fino a raggiungere i 32 miliardi di dollari nel 2026. Citando la Commissione per la sicurezza nazionale degli Stati Uniti sull’intelligenza artificiale, Schmidt ha anche affermato che i legislatori devono incentivare le partnership pubblico-privato per sviluppare applicazioni di intelligenza artificiale tra le agenzie governative.
“Il governo non è oggi preparato per questa nuova tecnologia”, ha detto Schmidt a Fareed Zakaria della CNN, osservando che l’uso dell’intelligenza artificiale per produrre e diffondere informazioni dannose rappresenta una “minaccia per la democrazia” e alla fine potrebbe essere usato come arma di guerra. “Riteniamo che questa sia un’emergenza nazionale e una minaccia per la nostra nazione a meno che non ci impegniamo a concentrarci sull’intelligenza artificiale nel governo federale e sulla sicurezza internazionale”.
Quindi, come potrebbero gli Stati Uniti recuperare il terreno perduto, nonostante le numerose sfide che ci attendono? Lo scorso luglio, il President’s Council of Advisors on Science and Technology (PCAST) ha pubblicato un rapporto che delinea ciò che ritiene debba accadere affinché gli Stati Uniti possano far progredire le ” industrie del futuro”.”, inclusa l’intelligenza artificiale. PCAST ha raccomandato di promuovere opportunità per l’istruzione e la formazione sull’IA, in parte assicurando l’impegno a ridimensionare gli investimenti per la formazione e l’istruzione della forza lavoro statunitense nell’IA; sviluppare curricula di intelligenza artificiale e metriche sulle prestazioni a K-12 attraverso i livelli post-laurea e per certificati e programmi professionali; creazione di incentivi, reclutamento e programmi di fidelizzazione per i docenti di intelligenza artificiale nelle università; e l’aumento degli investimenti della National Science Foundation e del Department of Education in educatori, scienziati e tecnologi di intelligenza artificiale a tutti i livelli.
Lo scorso agosto, in un passo verso questi obiettivi, la Casa Bianca ha istituito 12 nuovi istituti di ricerca focalizzati sull’intelligenza artificiale e sulla scienza dell’informazione quantistica. Ma il rilascio di Wu Dao 2.0 evidenzia il lavoro che deve essere svolto prima che gli Stati Uniti possano colmare il divario dell’IA con altre superpotenze mondiali.
