Il Technological Innovation Institute (TII) degli Emirati Arabi Uniti ha fatto un importante annuncio ieri, presentando il Falcon 180B, una versione notevolmente ingrandita del precedente Falcon 40B. Secondo quanto riportato nel loro blog ufficiale, il Falcon 180B è ora il modello linguistico open source più grande al mondo, con un incredibile totale di 180 miliardi di parametri.
Il TII ha affermato che per addestrare il Falcon 180B sono state utilizzate 4096 unità di elaborazione grafica (GPU) contemporaneamente, coprendo un totale di 3,5 trilioni di token. Questo processo ha richiesto l’uso di Amazon SageMaker e ha impegnato circa 7.000.000 di ore di GPU. Questi numeri mettono in luce la straordinaria potenza di calcolo impiegata per creare questo modello impressionante.
Per mettere in prospettiva la grandezza del Falcon 180B, è importante notare che è 2,5 volte più grande del Llama 2, richiedendo una potenza di calcolo quattro volte superiore per il suo addestramento. Questo solleva interrogativi interessanti sull’abilità del TII degli Emirati Arabi Uniti nell’accedere a una tale potenza di calcolo.
Gli Emirati Arabi Uniti, come noto, sono una nazione ricca di risorse petrolifere. Secondo un rapporto, il settore del petrolio e del gas rappresenta ancora il 30% del PIL degli Emirati Arabi Uniti e il 13% delle loro esportazioni. Tuttavia, è importante sottolineare che gli Emirati Arabi Uniti stanno investendo le loro risorse finanziarie nel campo dell’intelligenza artificiale. Nel 2017, hanno lanciato la Strategia nazionale per l’intelligenza artificiale 2031, con l’obiettivo di far contribuire l’IA in modo significativo all’economia nazionale, puntando al 13,6% del PIL entro il 2030.
Nel 2020, il governo degli Emirati Arabi Uniti ha istituito l’Advanced Technology Research Council (ARTC) per promuovere la ricerca scientifica e l’innovazione nell’ambito dell’intelligenza artificiale. Pochi mesi dopo, l’ARTC ha fondato il Technological Innovation Institute (TII), l’entità responsabile per la creazione del Falcon 180B.
Gli Emirati Arabi Uniti si sono distinti per il loro impegno nell’ambito dell’intelligenza artificiale. A giugno, il CEO di OpenAI, Sam Altman, ha elogiato la visione avanguardistica della nazione nel riconoscere il potenziale dell’IA, affermando che Abu Dhabi aveva abbracciato l’IA molto prima che diventasse un argomento di moda.
In un momento in cui la richiesta di unità di elaborazione grafica NVIDIA è in forte crescita a livello globale, gli Emirati Arabi Uniti hanno garantito l’accesso a migliaia di chip NVIDIA per sviluppare il modello Falcon a maggio. Inoltre, sembrano determinati a controllare e gestire il loro potere computazionale e talento, riducendo la loro dipendenza da fornitori stranieri.
L’Arabia Saudita ha seguito una strada simile, acquisendo oltre 3.000 chip H100 di NVIDIA, ciascuno con un valore di $ 40.000, attraverso il King Abdullah University of Science and Technology (KAUST).
Analizzando i numeri, emerge che l’Arabia Saudita ha investito notevolmente, spendendo circa 120 milioni di dollari per garantirsi quest’impressionante parco di GPU.
La recente lotta per il controllo delle esportazioni di chip AI verso il Medio Oriente ha attirato l’attenzione di aziende come AMD e NVIDIA, mentre le principali economie globali si impegnano nella corsa all’Intelligenza Artificiale.
Gli Emirati Arabi Uniti hanno anche lanciato con successo il modello Jais, un modello AI in lingua araba con 13 miliardi di parametri, sviluppato con l’assistenza della Silicon Valley e con un investimento di 100 milioni di dollari.
Inoltre, nel 2021, il G42 degli Emirati Arabi Uniti ha raccolto 800 milioni di dollari dalla società di investimenti tecnologici statunitense Silver Lake, che è sostenuta dal fondo sovrano degli Emirati Arabi Uniti, Mubadala.
Per quanto riguarda OpenAI, l’azienda ha ricevuto un investimento multimiliardario da Microsoft all’inizio di quest’anno. Tuttavia, recentemente il CEO Sam Altman ha annunciato che OpenAI non presenterà GPT-5 o GPT-4.5 nel prossimo futuro, cercando di raccogliere ulteriori fondi per il suo obiettivo di sviluppare l’AGI.
Le perdite di OpenAI sono notevolmente aumentate nel corso dell’ultimo anno, raggiungendo circa 540 milioni di dollari, principalmente dovute agli sviluppi di ChatGPT e GPT-4. L’addestramento di GPT-3, con i suoi 175 miliardi di parametri, ha comportato costi superiori a 4 milioni di dollari.
Con la recente introduzione del modello GPT-4, con i suoi presunti 1,76 trilioni di parametri, il costo stimato di costruzione del modello è salito a 46,3 miliardi di dollari, assumendo un aumento lineare dei costi per parametro. Tuttavia, OpenAI sembra mantenere una certa riservatezza sulla dimensione esatta dei parametri per evitare attenzioni indesiderate.
Nonostante le sfide finanziarie, OpenAI sta cercando di coinvolgere le imprese per sostenere la sua missione. La loro conferenza inaugurale degli sviluppatori, prevista per il 6 novembre 2023 a San Francisco, è un passo in questa direzione, con l’obiettivo di incoraggiare gli sviluppatori di tutto il mondo a contribuire a ChatGPT e alle API con nuove idee e strumenti.
Questi sviluppi recenti dimostrano chiaramente l’importanza crescente dell’Intelligenza Artificiale e delle risorse necessarie per alimentarla nel panorama globale.