Se pensi che l’intelligenza artificiale (AI) si stia muovendo a una velocità vertiginosa ed è quasi impossibile tenere il passo, non sei solo. Anche se essere in cima a tutte le cose dell’IA fa parte del tuo lavoro, sta diventando sempre più difficile farlo. Nathan Benaich e Ian Hogarth lo sanno fin troppo bene, eppure in qualche modo ci riescono.
Benaich e Hogarth hanno un solido background nell’IA, oltre a tonnellate di esperienza e coinvolgimento nella ricerca, nelle iniziative guidate dalla comunità e dal mercato. L’intelligenza artificiale è sia il loro lavoro che la loro passione ed essere al top di tutte le cose viene con il territorio.
Benaich è il socio accomandatario di Air Street Capital, una società di capitale di rischio che investe in società di tecnologia e scienze biologiche Al-first. Hogarth è cofondatore di Plural, una piattaforma di investimento per fondatori esperti per aiutare le startup europee più ambiziose.
Dal 2018, Benaich e Hogarth pubblicano il loro rapporto annuale sullo stato dell’IA , con l’obiettivo di riassumere e condividere le loro conoscenze con il mondo. Questo lavoro in continua crescita e in evoluzione copre tutti gli ultimi e i migliori nell’industria, nella ricerca e nella politica. Nel tempo, sono state aggiunte nuove sezioni, quest’anno con la sicurezza dell’IA per la prima volta.
Tradizionalmente, anche Benaich e Hogarth si sono avventurati nelle previsioni, con notevole successo. Allo stesso modo, ci siamo messi in contatto con loro per discutere le loro scoperte ogni anno dopo la pubblicazione del rapporto. Quest’anno non ha fatto eccezione, quindi allaccia le cinture e inizia il viaggio.
Stato dell’IA: evoluzione
La ricerca sull’IA si sta muovendo così velocemente che sembra che quasi ogni settimana ci siano nuove scoperte, con applicazioni commerciali che seguono rapidamente l’esempio. Caso in questione: sono stati implementati assistenti di codifica AI, con i primi segnali di guadagni e soddisfazione della produttività degli sviluppatori.
Assistenti di codifica
Il Codex di OpenAI, che guida GitHub Copilot , ha impressionato la comunità informatica con la sua capacità di completare il codice su più righe o direttamente dalle istruzioni in linguaggio naturale. Questo successo ha stimolato più ricerche in questo spazio, anche da Salesforce, Google e DeepMind.
Codex si è rapidamente evoluto dalla ricerca (luglio 2021) alla commercializzazione aperta (giugno 2022) con GitHub Copilot (di Microsoft) ora disponibile pubblicamente per $ 10/mese o $ 100/anno. Amazon ha seguito l’esempio annunciando CodeWhisperer in anteprima a giugno 2022.
Google ha rivelato che stava utilizzando uno strumento di completamento del codice basato sull’apprendimento automatico (ML), che Benaich e Hogarth notano nel rapporto sullo stato dell’IA potrebbe presto portare a un IDE (ambiente di sviluppo integrato) basato su browser. Nel frattempo, Tabnine ha più di 1 milione di utenti, ha raccolto 15 milioni di dollari e promette accurati completamenti di codice multilinea.
Testo-art
E se pensi che siano notizie vecchie, o non abbastanza massicce, allora che ne dici di un po’ di arte dell’IA alimentata dalla diffusione? Nel 2021, i modelli di IA di diffusione stavano superando i GAN, i modelli di IA precedentemente dominanti per la generazione di immagini, su alcuni benchmark. Oggi, i modelli di intelligenza artificiale di diffusione vengono utilizzati per alimentare dispositivi del calibro di DALL-E 2 , Imagen, Midjourney e Stable Diffusion, diffondendosi a text-to-video, generazione di testo, audio, design molecolare e altro ancora.
Questa ascesa fulminea ha dato vita sia a opportunità che a domande aperte. Sembra che chiunque ora possa creare immagini straordinarie (e altro) con il semplice clic di un pulsante. Questo significa che tutti sono artisti ora? Questo significa che i grafici saranno presto senza lavoro ? E chi possiede l’arte generata dall’IA? Queste sono solo alcune delle domande che compaiono, le cui risposte sembrano essere rispettivamente “no”, “no” e “non lo sappiamo”.
Benaich ha sottolineato l’ovvio: questo è un argomento in evoluzione e ci vorrà del tempo prima che le persone lo capiscano. Ci saranno sciocchezze e controversie, come le persone che vincono concorsi d’arte con l’arte generata dall’IA, mentre altri sono costretti a rimuovere le immagini generate dall’IA. Alcune comunità artistiche stanno vietando del tutto l’arte dell’IA, mentre alcuni artisti non sono affatto contenti che la loro arte sia inclusa nei set di dati utilizzati per addestrare quei modelli di intelligenza artificiale.
Benaich pensa che vedremo collaborazioni più formali tra le società di intelligenza artificiale e i generatori di questi modelli e i proprietari di corpus, in particolare i proprietari di corpus di grandi dimensioni. In definitiva, è una domanda sul valore incrementale di punti dati aggiuntivi in questo ampio set di dati:
“Non è chiaro se un singolo contributore a un ampio set di dati sposti davvero l’ago sulle prestazioni del modello e in che misura un individuo possa davvero influenzare questo dibattito”, ha affermato Benaich. “O ci dovrebbe essere una richiesta massiccia di non avere il lavoro presente in un set di dati di formazione per influenzare questa domanda sulla proprietà?” A lungo termine, ha affermato, “Se questi sistemi sono addestrati sui dati di tutti, non dovrebbero necessariamente essere di proprietà di una sola parte”.
Hogarth, da parte sua, ha osservato che il modello economico intorno alla monetizzazione e alla proprietà è attualmente in forte mutamento, a causa delle alternative che stanno emergendo rapidamente. “Se stavi pianificando di avere un’API che monetizza un modello di immagine generativa e lo hai dietro un paywall, e poi improvvisamente c’è un progetto open source che offre la stessa esperienza di qualità in modo self-service e non commerciale, tu vedremo una vera tensione”, ha osservato.
Domande simili sono state sollevate anche per il caso degli assistenti di codifica AI. Questo indica un cosiddetto modus operandi “distribuito” per l’IA. Ciò che resta fuori discussione, come rivela il lavoro di Benaich e Hogarth nel rapporto sullo stato dell’IA, è l’attore dominante nell’hardware utilizzato per generare modelli di intelligenza artificiale per tutti i tipi di applicazioni: Nvidia.
Stato dell’IA: distribuzione
Anche l’infrastruttura di calcolo, il substrato che sta consentendo tutti i progressi in questo campo, come ha detto Benaich, sta assistendo a molte innovazioni. Tuttavia, ha continuato aggiungendo, nonostante il fatto che ci siano stati molti investimenti e volontà nella comunità di cercare di rimuovere Nvidia come il gigante in questo spazio che dà potere a tutti, ciò non è realmente accaduto.
Nvidia è ancora il leader dell’hardware AI
È sempre stato difficile dare dei numeri a quella sensazione, ma questo è esattamente ciò che Benaich e Hogarth hanno cercato di fare quest’anno. Hanno scansionato la letteratura accademica e open source sull’IA alla ricerca di articoli che menzionavano l’uso di una piattaforma hardware specifica per addestrare i modelli che hanno riportato nei risultati. Hanno enumerato quei documenti ei risultati sono stati sia prevedibili che impressionanti.
Ciò che il lavoro di Benaich e Hogarth ha mostrato è che il divario tra la somma dei documenti menzionati dall’utilizzo di qualsiasi forma di hardware Nvidia e i documenti che utilizzano TPU o altro hardware creato dalle prime cinque società di semiconduttori è a volte 100 volte o 150 volte a favore di Nvidia. Questo, ha osservato Benaich, non è cambiato molto negli ultimi anni.
Nvidia ha avuto un vantaggio rispetto alla concorrenza e ne ha sicuramente tratto il meglio. Nvidia ha creato un enorme ecosistema e partnership attorno al suo hardware, investendo molto anche nel suo stack software. Nvidia mostra anche un atteggiamento da startup nonostante sia l’incumbent, come ha notato Benaich. Continuano a migliorare il loro hardware, utilizzando tecniche come ML per progettare nuove architetture e si dice che la loro ultima generazione di GPU H100 porti un miglioramento 10 volte delle prestazioni rispetto alla precedente A100.
Il punto di svolta per gli altri sfidanti
D’altra parte, le GPU sono dotate di un certo bagaglio, poiché non sono mai state progettate per ospitare carichi di lavoro di intelligenza artificiale. È più facile innovare se costruisci qualcosa da zero e non hai la compatibilità con le versioni precedenti di cui preoccuparti. Ciò potrebbe significare che alla fine ci sarà un punto di svolta in cui gli sfidanti inizieranno a vedere un’adozione sostanziale.
Benaich è stato irremovibile: “Vorrei che accadesse. Penso che anche il settore lo apprezzerebbe. Ma i dati non lo suggeriscono. Penso che la domanda sia sempre: quanto può essere migliore un nuovo design e quanto deve essere migliore se il suo software è meno ben compreso e la curva di apprendimento è più alta? E stai anche combattendo con un’enorme base di installazione che molte aziende hanno già”.
Benaich ha aggiunto che è “una battaglia in salita davvero dura” che è stata combattuta per almeno cinque anni. “Avremmo pensato che il baratro sarebbe stato più stretto di dove si trova se il futuro fosse effettivamente più distribuito rispetto alla pura Nvidia”, ha detto. “Nonostante ci sia un aumento della proprietà centralizzata dei modelli a livello di software, ciò non è realmente accaduto a livello di hardware”.
Questa “sfondamento della proprietà centralizzata” di cui Benaich ha parlato a livello di software è un altro asporto dal rapporto sullo stato dell’IA. Come ha notato Benaich, negli ultimi due anni il dogma centrale del ML è stato quello della centralizzazione. L’ipotesi era che le entità che trarranno profitto e avanzeranno di più sono quelle che possono acquisire più risorse, che si tratti di denaro, talento, informatica o dati.
Anche se questo suona ancora vero in molti modi, è anche messo in discussione. Ad esempio, Meta ha concluso che “sebbene la natura centralizzata dell’organizzazione [AI] ci abbia dato una leva in alcune aree, ha anche reso una sfida l’integrazione profonda come vorremmo”.
Collettivi di ricerca distribuiti
Quello che abbiamo visto negli ultimi 12 mesi circa, ha aggiunto Benaich, è che c’è l’emergere di quelli che ha chiamato “collettive di ricerca distribuite” come Adept, Anthropic, Inflection, Luther e Cohere. Benaich si riferiva a questi come “ampiamente definiti come nemmeno aziende, o server Discord che emergono, o istituzioni senza scopo di lucro o startup che sono fondamentalmente open source”.
Benaich e Hogarth vedono quelli come un altro polo per fare ricerca sull’IA, in particolare un lavoro che si concentra sulla diffusione e distribuzione di invenzioni in laboratori centralizzati alle masse in modo incredibilmente rapido. Il rapporto include vari esempi di alternative open source per i modelli, inclusi modelli da testo a immagine, lingua e biologia, che vengono rilasciati più velocemente di quanto chiunque si aspettasse.
Benaich crede che questa diventerà la norma: prima appariranno i modelli closed-source e poi nel giro di un anno inizieremo a vedere i primi modelli open-source. Pensa che questo garantisca l’accesso a una comunità più ampia di persone che altrimenti non parteciperebbero [all’IA]:
“Questo perché per trovare lavoro in alcune di queste grandi aziende tecnologiche, devi avere un dottorato di ricerca, devi essere estremamente alfabetizzato tecnicamente e selezionare determinate caselle. Questi collettivi open source si preoccupano molto meno di questo. Si preoccupano di più del valore del contributo di ogni persona e i contributi possono essere diversi”, ha affermato. Allo stesso tempo, quali di queste iniziative possono essere praticabili e come, esattamente, è una questione aperta.
Ci sono molte dinamiche in gioco lì. I migliori talenti di Google e DeepMinds del mondo si stanno scatenando e stanno diventando imprenditoriali. Allo stesso tempo, gli investimenti nelle startup che utilizzano l’IA sono rallentati nel 2022 rispetto al 2021, insieme al mercato più ampio, ma sono ancora superiori al 2020. Gli investimenti negli Stati Uniti rappresentano più della metà del capitale di rischio e degli unicorni mondiali, mentre le valutazioni private sono in aumento.
Stato dell’IA: sicurezza
Ultimo ma non meno importante, l’introduzione in qualche modo lungimirante della sicurezza dell’IA. La sezione del rapporto sulla sicurezza dell’IA inizia citando pionieri dell’IA come Alan Turing e Marvin Minsky, che già negli anni ’50 mettevano in guardia sui pericoli dell’intelligenza artificiale che supera le capacità umane.
La sicurezza dell’intelligenza artificiale è attualmente utilizzata come termine generico che cattura l’obiettivo generale di creare potenti sistemi di intelligenza artificiale in linea con le preferenze e i valori umani, come ha osservato Hogarth. Alcune delle sfide sono più a breve termine, come prendere un sistema di visione artificiale utilizzato dalle forze dell’ordine e cercare di capire dove mostra pregiudizi. Benaich e Hogarth hanno incluso lavori su argomenti correlati negli anni precedenti.
Prevenire l’armageddon dell’IA con l’allineamento
Le novità del 2022 e ciò che ha portato Benaich e Hogarth a dedicare un’intera sezione alla sicurezza dell’IA, è l’altra estremità della sicurezza dell’IA. Questo è ciò che Hogarth chiamava allineamento dell’IA: garantire che un sistema di intelligenza artificiale estremamente potente e superintelligente non diventi mai canaglia e inizi a trattare male l’umanità in aggregato. Il rapporto sullo stato dell’IA del 2022 è molto sbilanciato verso la fine della sicurezza perché, secondo Hogarth, l’argomento non sta ricevendo abbastanza attenzione.
“Stiamo assistendo a un aumento esponenziale delle capacità, all’uso esponenziale del calcolo, ai dati esponenziali inseriti in questi modelli [AI]”, ha affermato Hogarth. “Eppure non abbiamo ancora idea di come risolvere il problema dell’allineamento.” È ancora un problema tecnico irrisolto per il quale non ci sono soluzioni chiare, ha aggiunto: “Questo è ciò che mi allarma – e penso che la cosa che è probabilmente la più allarmante di tutto questo è che i circuiti di feedback ora sono così violenti. Hai un’enorme creazione di ricchezza che si verifica nell’IA. Quindi ci sono sempre più soldi che fluiscono per rendere questi modelli più potenti”.
C’è più consapevolezza geopolitica del significato di questo e c’è una dinamica competitiva tra i paesi che accelera, ha proseguito, così come più prestigio sociale. “Ricevi complimenti per aver lavorato a DeepMind o OpenAI”, ha detto, “quindi ci sono molti di questi potenti circuiti di feedback che stanno entrando in funzione e fanno sì che i sistemi [abbiano] capacità più crescenti a una velocità maggiore e noi non abbiamo il stesso ciclo di feedback che inizia a dare il via alla sicurezza.
È una preoccupazione lungimirante, ma il pensiero nel rapporto sembra essere “meglio prevenire che curare”. Anche molti ricercatori di intelligenza artificiale condividono la preoccupazione di Hogarth. Il rapporto cita un recente sondaggio della comunità ML, che ha rilevato che il 69% ritiene che la sicurezza dell’IA dovrebbe avere una priorità maggiore di quanto non lo sia attualmente.
È stato anche citato un sondaggio separato della comunità della PNL, che ha rilevato che la maggioranza ritiene che l’AGI (intelligenza generale artificiale) sia una preoccupazione importante verso la quale stiamo facendo progressi. Oltre il 70% credeva che l’IA porterà a un cambiamento sociale a livello della rivoluzione industriale di questo secolo e quasi il 40% credeva che l’IA potesse causare una catastrofe grave come una guerra nucleare durante quel periodo.
I risultati chiave del rapporto sono che la sicurezza dell’IA sta attirando più talenti e finanziamenti, ma rimane relativamente trascurata e sottofinanziata. Alcuni progressi iniziali erano stati compiuti verso l’allineamento, attraverso approcci come l’apprendimento dal feedback umano, il red-teaming, il reverse engineering delle reti neurali e la misurazione del comportamento morale negli agenti artificiali.
Concentrandosi sull’angolo AGI
Il rapporto sullo stato dell’IA evidenzia anche Conjecture, che rileva essere la prima startup ben finanziata incentrata esclusivamente sull’allineamento AGI. Conjecture è una startup con sede a Londra, guidata da Connor Leahy, che in precedenza ha cofondato Eleuther, l’organizzazione che ha dato il via allo sviluppo decentralizzato di grandi modelli di intelligenza artificiale.
La congettura opera partendo dal presupposto che l’AGI sarà sviluppato nei prossimi cinque anni, e sulla traiettoria attuale sarà disallineato con i valori umani e di conseguenza catastrofico per la nostra specie. Ha raccolto milioni da investitori, inclusi i fondatori di GitHub, Stripe e FTX.
Naturalmente, tutto ciò ha senso solo se credi che ci stiamo muovendo verso l’AGI. Non tutti condividono questa convinzione. Diverse scuole di pensiero sono giustamente esemplificate da Yann LeCun di Meta e dal prolifico studioso di intelligenza artificiale, autore e imprenditore, Gary Marcus. Oltre al dibattito su come l’IA potrebbe andare avanti, Hogarth ritiene che la critica di Marcus alle capacità dei modelli di intelligenza artificiale sia “estremamente inutile… un po’ l’opposto di suonare l’allarme antincendio”.
Hogarth ritiene che per tracciare un percorso sicuro verso il progresso dell’IA, dovrebbero esserci maggiori finanziamenti per la sicurezza dell’IA, oltre a una supervisione normativa. Ha menzionato la ricerca sul guadagno di funzione come un esempio di ricerca consentita solo a determinate condizioni e su cui l’IA dovrebbe essere modellata. Per Hogarth, la distinzione di ciò che dovrebbe essere regolamentato non può essere fatta sulla base delle domande, poiché tutte le domande possono essere utilizzate in modo improprio, ma piuttosto sulla base delle capacità: qualsiasi cosa al di sopra di una certa soglia dovrebbe essere soggetta a controllo.
