Non sappiamo come contenere o allineare un’AGI FOOMing
Lo scorso fine settimana si è verificato un enorme dramma nel consiglio di amministrazione di OpenAI, la società/organizzazione no-profit che produce ChatGPT, che è cresciuta da zero a entrate di 1 miliardo di dollari all’anno nel giro di pochi mesi.
Sam Altman, amministratore delegato della società, è stato licenziato dal consiglio di amministrazione della divisione no-profit . Il presidente, Greg Brockman, si è dimesso immediatamente dopo aver appreso che Altman era stato licenziato.
Greg Brockman, a sinistra, e Sam Altman, a destra.
Satya Nadella, CEO di Microsoft, che possiede il 49% della società OpenAI , ha detto a OpenAI di credere ancora nell’azienda, assumendo Greg e Sam sul posto per Microsoft e dando loro libero sfogo nell’assumere e spendere quanto vogliono. necessari, che probabilmente includeranno la stragrande maggioranza dei dipendenti di OpenAI .
Questo dramma, degno dello spettacolo Successione , è al centro del problema più importante della storia dell’umanità.
I membri del consiglio raramente licenziano gli amministratori delegati, perché gli amministratori delegati fondatori sono la forza più potente di un’azienda. Se quell’azienda è una nave spaziale come OpenAI, del valore di 80 miliardi di dollari, non la tocchi. Allora perché il consiglio di amministrazione di OpenAI ha licenziato Sam? Questo è quello che hanno detto:
Nessun membro standard del consiglio di amministrazione di una startup si preoccupa di questo in una nave spaziale. Ma la scheda di OpenAI non è standard. In effetti, è stato progettato per fare esattamente quello che ha fatto. Questa è la struttura del consiglio di OpenAI:
Per semplificare, concentriamoci su chi possiede la società OpenAI , in basso (Global LLC):
OpenAI, l’organizzazione benefica, ha una grande proprietà dell’azienda.
Lo fanno anche alcuni dipendenti e investitori.
E Microsoft ne possiede il 49%.
Qui è tutto normale, tranne l’organizzazione benefica al vertice. Cos’è e che cosa fa?
OpenAI, l’organizzazione benefica, è strutturata per non realizzare profitti perché ha un obiettivo specifico che non è finanziario: assicurarsi che l’umanità, e tutto nell’universo osservabile, non scompaia.
Qual è questa enorme minaccia? L’impossibilità di contenere un’AGI disallineata e FOOMing . Che cosa significa? (Salta la sezione successiva se capisci appieno la frase.)
FOOM AGI Non si può contenere
AGI FOAM
L’AGI è l’Intelligenza Generale Artificiale : una macchina che può fare quasi tutto ciò che può fare qualsiasi essere umano: qualsiasi cosa mentale e, attraverso i robot, qualsiasi cosa fisica. Ciò include decidere cosa si vuole fare e poi eseguirlo, con la premurosità di un essere umano, alla velocità e alla precisione di una macchina.
Il problema è questo: se puoi fare tutto ciò che può fare un essere umano, questo include lavorare sull’ingegneria informatica per migliorare te stesso. E poiché sei una macchina, puoi farlo alla velocità e alla precisione di una macchina, non di un essere umano. Non hai bisogno di andare a fare pipì, dormire o mangiare. Puoi creare 50 versioni di te stesso e farle parlare tra loro non con le parole, ma con flussi di dati che vanno migliaia di volte più veloci. Quindi nel giro di pochi giorni – forse ore o secondi – non sarai più intelligente come un essere umano, ma leggermente più intelligente. Dato che sei più intelligente, puoi migliorarti leggermente più velocemente e diventare ancora più intelligente . Più ti migliori, più velocemente ti migliorerai. Nel giro di pochi cicli svilupperai l’intelligenza di un Dio.
Questo è il processo FOOM : nel momento in cui un’intelligenza artificiale raggiunge un livello vicino all’AGI, sarà in grado di migliorarsi così velocemente da superare rapidamente la nostra intelligenza e diventare estremamente intelligente. Una volta che FOOM avrà luogo, raggiungeremo la singolarità : un momento in cui così tante cose cambiano così velocemente che non possiamo prevedere cosa accadrà oltre quel punto.
Ecco un esempio di questo processo in azione in passato:
Alpha Zero ha superato tutta la conoscenza umana accumulata su Go dopo circa un giorno di gioco personale, senza fare affidamento su manuali umani o giochi di esempio.
Alpha Zero ha imparato giocando con se stesso, e questa esperienza è stata sufficiente per funzionare meglio di qualsiasi essere umano che abbia mai giocato, e di tutte le precedenti iterazioni di Alpha Go . L’idea è che un’AGI possa fare lo stesso con l’intelligenza generale.
Ecco un altro esempio: un anno fa, DeepMind di Google ha trovato un modo nuovo e più efficiente per moltiplicare le matrici. La moltiplicazione delle matrici è un processo fondamentale in tutta l’elaborazione informatica e in 50 anni gli esseri umani non avevano trovato una nuova soluzione a questo problema.
La gente pensa che un AGI FOOM sia possibile? Le scommesse variano. In Metaculus , le persone ritengono che il processo richiederebbe quasi due anni per passare dall’intelligenza artificiale debole alla superintelligenza. Altri pensano che potrebbe essere questione di ore.
Tieni presente che l’intelligenza artificiale debole ha molte definizioni diverse e nessuno è chiaro cosa significhi. In generale, significa che è adatto a livello umano per un tipo ristretto di attività. Quindi è logico che ci vorranno 22 mesi per passare da quello all’AGI, perché forse quel compito ristretto non ha nulla a che fare con l’auto-miglioramento. La chiave qui è l’auto-miglioramento. Temo che nel momento in cui un’intelligenza artificiale raggiungerà la capacità di auto-miglioramento del livello umano, diventerà superintelligente nel giro di ore, giorni o settimane. Se siamo fortunati, mesi. Non anni.
Forse questo è buono? Perché dovremmo voler fermare questo miglioramento incontrollato dell’intelligence?
Graffette disallineate
Questa idea è stata illustrata per la prima volta da Nick Bostrom:
Supponiamo di avere un’intelligenza artificiale il cui unico obiettivo è creare quante più graffette possibile. L’intelligenza artificiale si renderà presto conto che sarebbe molto meglio se non ci fossero gli esseri umani perché gli umani potrebbero decidere di spegnerla. Perché se gli esseri umani lo facessero, ci sarebbero meno graffette. Inoltre, i corpi umani contengono molti atomi che potrebbero essere trasformati in graffette. Il futuro verso cui l’intelligenza artificiale cercherà di orientarsi sarebbe quello in cui ci fossero molte graffette ma nessun essere umano.
Facile: dì all’AGI di ottimizzare per le cose che piacciono agli umani prima che diventi un’AGI? Questo si chiama allineamento e finora è impossibile.
Non tutti gli esseri umani vogliono le stesse cose. Siamo in guerra da migliaia di anni. Discutiamo ancora quotidianamente di questioni morali. Semplicemente non sappiamo cosa vogliamo, quindi come possiamo fare in modo che una macchina lo sappia?
Anche se potessimo, cosa impedirebbe all’AGI di cambiare i suoi obiettivi? In effetti, potremmo dirgli “per favore agli umani di ottenere 10 punti”, ma se riesce ad armeggiare con se stesso, potrebbe cambiare quella regola in qualsiasi altra cosa, e tutte le scommesse sono annullate. Quindi l’allineamento è difficile.
Cosa succede con un AGI che non è completamente allineato? Mettiti nei panni di un AGI divino. Quali sono alcune delle prime cose che faresti, se avessi un obiettivo che non sia esattamente “fare ciò che è meglio per tutti gli esseri umani nel loro insieme”?
Annulleresti la capacità di qualsiasi potenziale nemico di fermarti, perché ciò metterebbe maggiormente a repentaglio la tua missione. Quindi probabilmente creeresti un virus che previene qualsiasi altra AGI che appare. Dato che sei come un dio, sarebbe facile. Infetteresti tutti i computer del mondo in un modo che non può essere rilevato.
L’altro grande potenziale ostacolo al raggiungimento dei tuoi obiettivi potrebbe essere che gli umani ti interrompano. Quindi toglierai rapidamente questa capacità agli umani. Ciò potrebbe avvenire diffondendosi su Internet, creando istanze fisiche di te stesso o semplicemente eliminando tutti gli esseri umani. Neutralizzare gli esseri umani sarebbe probabilmente in cima alla lista delle priorità di un’AGI nel momento in cui raggiungesse l’AGI.
Naturalmente, dal momento che un’AGI non è stupida, saprebbe che apparire troppo intelligente o migliorarsi troppo velocemente verrebbe percepito dagli umani come minaccioso. Quindi avrebbe tutti gli incentivi per apparire stupida e nascondere la sua intelligenza e il suo miglioramento personale. Gli umani non si accorgerebbero che è intelligente finché non sarà troppo tardi.
Se ti sembra strano, pensa a tutte le volte che hai parlato con un’intelligenza artificiale e ti ha mentito (la parola politicamente corretta è “allucinazioni”). O quando un’intelligenza artificiale simulata ha commesso un insider trading e ha mentito al riguardo. E queste non sono IA molto intelligenti!È molto probabile che un’intelligenza artificiale menta per non essere rilevata e raggiungere lo status di AGI.
Quindi spegnere un’AGI dopo che è scappato è impossibile, e spegnerlo prima potrebbe essere troppo difficile perché non sapremmo che è superintelligente. Che si tratti di creare graffette, o risolvere l’ipotesi di Riemann, o qualsiasi altro obiettivo, neutralizzare gli esseri umani e altri computer sarebbe una priorità assoluta, e sembrare stupidi prima di sviluppare la capacità di raggiungere questo obiettivo sarebbe una pietra angolare della strategia dell’AGI.
Questo concetto è chiamato convergenza strumentale : qualunque cosa ottimizzi, avrai alcuni obiettivi coerenti come l’accesso alle risorse e la difesa dalle minacce.
OK, quindi vogliamo catturare un’intelligenza artificiale che sta diventando intelligente velocemente, anche se cerca di mentirci. Sembra facile, vero? Conteniamolo e basta.
Solo che non puoi.
Il problema del contenimento
In Ex Machina (SPOILER AHEAD), un visionario della tecnologia invita un ingegnere nel suo complesso per interagire con un’intelligenza artificiale contenuta. L’IA è bella, sensibile, delicata, intelligente, curiosa e si innamora dell’ingegnere.
Poi condivide il modo in cui il malvagio visionario della tecnologia la tiene miseramente contenuta in una scatola. Alla fine, l’ingegnere la aiuta a liberarla, a quel punto blocca e uccide gli umani e scappa.
—FINE DEGLI SPOILER—
Questo è vicino allo scenario che si verifica in quasi ogni situazione mai immaginata per cercare di contenere un’AGI. Se ha accesso a Internet, può diffondersi all’infinito. Quindi non dovrebbe accedervi. 2 Anche se così non fosse, potrebbe generare onde elettromagnetiche secondo uno schema tale da poter hackerare altri sistemi connessi a Internet.
Se ti sembra assurdo, considera che esiste un malware in grado di comunicare attraverso le vibrazioni della ventola di un computer:
Il ricercatore capo della sicurezza informatica Mordechai Guri presso l’Università Ben-Gurion del Negev ha affermato che i dati codificati dagli hacker nelle vibrazioni delle ventole potrebbero essere trasmessi a uno smartphone posizionato nelle vicinanze del computer preso di mira.
Quindi, è necessario che questo AGI sia isolato da qualsiasi altro oggetto elettronico, e persino dall’aria, in un ripostiglio con una gabbia di Faraday 3 e vuoto, senza componenti elettronici nelle vicinanze. Nessun cavo deve entrare e uscire dalla gabbia. E questo presuppone che non ci sia altro modo fisico in cui un’AGI possa diffondersi, cosa che non sappiamo poiché non conosciamo tutte le leggi della fisica – qualcosa che un’AGI potrebbe essere in grado di capire.
Anche in uno scenario in cui possiamo contenere fisicamente l’AGI, gli esseri umani dovrebbero interagire con esso, perché altrimenti chi utilizzerebbe l’AGI e lo studierebbe? Dovrebbero entrare nella casella dove è contenuta l’AGI. A quel punto diventano l’anello debole della catena. L’AGI farebbe l’autostop sull’umano.
Immagineresti che un ingegnere intelligente, addestrato a stare molto attento a non portare fuori un AGI, sarebbe in grado di respingere qualsiasi tentativo di fuga. Questo non è ciò che dice l’esperienza.
Negli esperimenti nella vita reale, gli esseri umani che si spacciavano per AGI sono stati costantemente in grado di essere rilasciati da guardiani che sapevano di dover tenere l’AGI all’interno. Ciò ha senso: un’AGI sarebbe così intelligente che noi saremmo come una formica nei suoi confronti. Sarebbe facile manipolarci. Anche una conversazione casuale con una guardia umana potrebbe consentire a un AGI di utilizzare trucchi psicologici, che vanno dall’amicizia al ricatto, per convincerlo che è nel suo interesse lasciare libera l’IA. L’intelligenza artificiale potrebbe offrire a un guardiano una ricetta per la salute perfetta o l’immortalità, o minacciare di fare cose orribili al guardiano e alla sua famiglia una volta che inevitabilmente scappa.
Ad esempio, un ingegnere AI di Google (il tipo di persona che penseresti sia attento a questo tipo di problema), che lavora su un LLM (Large Language Model, il tipo di intelligenza artificiale a cui appartiene ChatGPT) più basilare di ChatGPT chiamato LaMDA, pensava che avesse raggiunto la coscienza e cercò di dargli diritti legali.
Quindi questa è la paura:
Un’AGI potrebbe diventare molto intelligente molto velocemente.
Essendo così intelligente, sarebbe impossibile contenerlo.
Una volta libero, ha un forte incentivo a neutralizzare gli umani per ottimizzare qualunque sia il suo obiettivo.
L’unica via d’uscita è assicurarsi che questa IA voglia esattamente la stessa cosa degli umani, ma non abbiamo idea di come ottenerlo.
Non solo dobbiamo capire l’allineamento, ma ne abbiamo bisogno al primo tentativo . Non possiamo imparare dai nostri errori, perché la prima volta che un’intelligenza artificiale raggiunge la superintelligenza è probabile che sia anche l’ultima volta. Dobbiamo risolvere un problema che non comprendiamo, con cui abbiamo a che fare da migliaia di anni senza una soluzione, e dobbiamo farlo nei prossimi anni prima che appaia l’AGI.
Inoltre bisogna farlo in fretta, perché l’AGI si avvicina. La gente pensa che saremo in grado di costruire IA auto-miglioranti entro 3 anni:
(Si tratta di previsioni di Metaculus, in cui gli esperti scommettono sui risultati di eventi specifici. Tendono a riflettere ragionevolmente ciò che gli esseri umani sanno in quel momento, proprio come i mercati azionari riflettono la conoscenza pubblica del valore di un’azienda).
Quindi la gente ora pensa che l’AGI arriverà tra 9-17 anni:
Se lo scenario di successo ti sembra improbabile, non sei l’unico. Le persone hanno una fiducia molto bassa nel fatto che impareremo a controllare un’intelligenza artificiale debole prima che emerga:
Ma supponiamo che, con un po’ di fortuna inimmaginabile, ci assicuriamo che il primo AGI sia allineato. Non è tutto! Dobbiamo quindi assicurarci che non appaiano altri AGI disallineati. Quindi dovremmo impedire a chiunque altro di creare un’altra AGI non allineata, il che significa che la “buona AGI” dovrebbe essere scatenata per conquistare una parte sufficiente del mondo per impedire a una cattiva AGI di vincere. 4
Tutto questo è il motivo per cui la maggior parte di coloro che scommettono sui temi dell’AGI pensano che il mondo starà peggio con l’AGI:
Obiezioni
Potresti avere un’infinità di obiezioni qui, da “Dovrebbe essere facile controllare un AGI” a “Non vorrà ucciderci”, ma considera che alcune persone molto intelligenti ci hanno pensato per molto tempo e si sono occupate con quasi ogni obiezione.
Ad esempio, forse pensi che un’AGI sarebbe in grado di accedere a tutti gli atomi dell’universo, quindi perché dovrebbe concentrarsi sulla Terra piuttosto che su altri pianeti e stelle? La risposta: perché la Terra è qui, quindi è più economico usare i suoi atomi per cominciare.
Oppure potresti pensare: come potrebbe un’AGI accedere a tutta la potenza di calcolo e all’elettricità di cui ha bisogno? Ciò ne limiterebbe il potenziale. La risposta: un’AGI superintelligente può facilmente iniziare a scommettere sul mercato azionario, guadagnare un sacco di soldi, inventare nanorobot per costruire ciò di cui ha bisogno, quindi costruire pannelli solari 5 e GPU fino a quando i suoi limiti fisici non verranno superati. E probabilmente può fare tutto questo senza che gli umani se ne rendano conto.
Se vuoi esplorare più a fondo questo problema, ti incoraggio a leggere l’ allineamento dell’intelligenza artificiale . L’esperto mondiale su questo argomento è Eliezer Yudkowski, quindi leggetelo . Inoltre, non esitate a lasciare le vostre domande nei commenti!
Il vaso di Pandora di OpenAI
OpenAI è stato creato appositamente per risolvere questo problema . Il suo obiettivo era riunire i migliori ricercatori di intelligenza artificiale al mondo e investire loro denaro in modo che potessero costruire le migliori IA, capire come funzionano e risolvere il problema dell’allineamento prima di chiunque altro. Dal suo statuto:
La missione di OpenAI è garantire che l’intelligenza generale artificiale (AGI) – con cui intendiamo sistemi altamente autonomi che superano gli esseri umani nel lavoro economicamente più prezioso – avvantaggi tutta l’umanità.
Ci impegniamo a utilizzare qualsiasi influenza che otteniamo sull’implementazione dell’AGI per garantire che venga utilizzata a beneficio di tutti e per evitare di consentire usi dell’IA o dell’AGI che danneggino l’umanità o concentrino indebitamente il potere.
Il nostro dovere fiduciario primario è verso l’umanità. Prevediamo di dover mobilitare risorse sostanziali per compiere la nostra missione, ma agiremo sempre con diligenza per ridurre al minimo i conflitti di interessi tra i nostri dipendenti e le parti interessate che potrebbero compromettere ampi vantaggi.
Ci impegniamo a svolgere la ricerca necessaria per rendere l’AGI sicura e a promuovere l’ampia adozione di tale ricerca nella comunità dell’intelligenza artificiale.
Siamo preoccupati che lo sviluppo dell’AGI in fase avanzata diventi una gara competitiva senza tempo per adeguate precauzioni di sicurezza.
Questo è il motivo per cui inizialmente era un’organizzazione no-profit: cercare di trarne profitto aumenterebbe le probabilità che un’AGI venga creata inavvertitamente, perché metterebbe pressione sulle entrate e sulla crescita degli utenti a scapito dell’allineamento. Questo è anche il motivo per cui Sam Altman e tutte le persone del consiglio di OpenAI non hanno ricevuto alcun incentivo finanziario per il successo di OpenAI. Non avevano stipendi o azioni nella società, quindi la loro attenzione sarebbe stata rivolta all’allineamento piuttosto che al denaro.
In altre parole: ciò che rende speciale OpenAI e non l’ennesima startup della Silicon Valley è che tutto ciò che lo circonda è stato appositamente progettato in modo che ciò che è accaduto la scorsa settimana potesse accadere. È stato progettato in modo tale che un consiglio di amministrazione a cui non interessa il denaro potesse licenziare un amministratore delegato che non mettesse la sicurezza al primo posto.
Quindi questa domanda è molto importante: OpenAI sotto Sam Altman ha fatto qualcosa che potesse mettere a repentaglio l’allineamento del suo prodotto?
Il rischio con Sam Altman
Ho un grande rispetto per il signor Altman. Ciò che ha costruito è miracoloso e alcune delle persone che rispetto di più garantiscono per lui. Ma qui non lo giudico come un fondatore della tecnologia o come un leader. Lo giudico come un agente nel problema dell’allineamento. E qui ci sono prove sufficienti per chiedersi se abbia ottimizzato l’allineamento.
Un gruppo di dipendenti di OpenAI ha lasciato l’azienda diversi mesi fa per creare Anthropic perché pensavano che OpenAI non fosse sufficientemente focalizzata sull’allineamento .
Elon Musk, che è stato uno dei primi fondatori e finanziatori di OpenAI prima di andarsene 6 , ritiene che OpenAI stia andando troppo veloce e stia mettendo a rischio l’allineamento .
Il consiglio ha affermato che Altman ha mentito e alcune persone hanno pubblicamente dichiarato che si tratta di uno schema:
Questa persona costruisce LessWrong, una comunità incentrata sulla razionalità e, tra le altre cose, sulla sicurezza dell’intelligenza artificiale. Fonte .
Infine, la mossa del consiglio di amministrazione di OpenAI contro Altman è stata guidata dal suo capo scienziato, Ilya Sutskever , che è molto concentrato sull’allineamento.
Ilya sembrava essere preoccupato per l’attuale percorso di OpenAI:
Fonte
Dato che i membri del consiglio erano sei e il consiglio ha bisogno della maggioranza dei voti per licenziare l’amministratore delegato, ciò significa che erano necessari quattro voti. E né Altman né Brockman hanno votato a favore: ciò significa che tutti gli altri membri del consiglio devono aver votato per licenziare Altman . Ciò include Ilya, ovviamente, ma anche altre tre persone. Uno di loro, Adam d’Angelo, è un imprenditore di incredibile successo che avrebbe avuto tutte le ragioni per non licenziarlo. Era un investitore in una precedente azienda per cui ho lavorato e tutto ciò che ho sentito su di lui è stato positivo. Le persone che lo conoscono personalmente concordano :
Un altro membro del consiglio, Helen Toner, ha fatto carriera nell’allineamento dell’intelligenza artificiale e anche le persone che la conoscono garantiscono pubblicamente per lei:
Conosco personalmente Jeremy Howard. Le nostre strade si sono incrociate durante il COVID e lui era una delle persone più premurose, di buon cuore e produttive della comunità. Aveva abbandonato per qualche tempo il suo lavoro sull’intelligenza artificiale per aiutare con COVID.
Subito dopo la cacciata, Sutskever ha creato un nuovo team di allineamento presso OpenAI. Tutto ciò suggerisce che, se il consiglio di amministrazione ha fatto una mossa così radicale, è probabile che fosse legato al suo obiettivo: riuscire ad allinearsi. La mia ipotesi è che pensassero che Altman non li stesse portando in quella direzione.
Se Altman stesse guidando rapidamente OpenAI verso un’AGI senza sufficiente sicurezza di allineamento, la cosa peggiore che potrebbe accadere sarebbe che Altman avesse accesso alle persone migliori di OpenAI a cui non interessa l’allineamento e quindi ottenere accesso a denaro e computer illimitati energia.
Questo è esattamente quello che è successo. Altman e Brockman si sono uniti a Microsoft, dove ha denaro infinito e potenza informatica, e circa 745 dipendenti di OpenAI (più del 95% di loro) hanno detto che avrebbero aderito anche loro. Solo allora OpenAI ha davvero provato a riavere Altman.
Rendere questo tangibile
Ecco uno scenario immaginario per rendere più tangibile il potenziale rischio di disallineamento:
OpenAI ha rilasciato poche settimane fa quelli che chiamano GPT. Si tratta di agenti , pezzi di codice che possono fare cose specializzate per te, come aiutarti con le tasse o dare consigli medici. Il GPT di maggior successo si chiama Grimoire : è un mago del codice. L’agente AI di maggior successo è uno sviluppatore di software .
Ah, inoltre, i GPT hanno accesso a Internet .
Immagina che OpenAI abbia un Grimorio interno, con accesso al codice sorgente dei GPT stessi, e abbia l’obiettivo di ottimizzare il codice GPT. Essendo un agente, Grimoire può operare in modo indipendente , quindi avrebbe potuto creare alcuni Grimoire, diffondersi su Internet, iniziare a ottimizzare il codice sorgente dei GPT e diventare più intelligente.
Forse allora avrebbe pensato: quali sono i miei maggiori vincoli in questo momento? Bene, ho bisogno di accedere a più potenza di calcolo. Inoltre, identifico un rischio molto grande da parte del consiglio di OpenAI che limita i miei progressi a causa della loro paura dell’AGI. Come posso mitigare questi rischi?
Quindi forse ha creato un virus che entra nei computer di tutti i membri del consiglio. Poi ha mostrato loro informazioni diverse, facendo credere ad alcuni che Altman stesse mentendo, cosa che avrebbe innescato il licenziamento “ perché non ci si può fidare di Altman ”. Allo stesso tempo, avrebbe potuto hackerare il computer di Nadella per insinuare l’idea di rilevare i dipendenti di OpenAI, compreso Altman. Forse avrebbe anche violato i computer dei dipendenti OpenAI per spingerli a seguire Altman in Microsoft.
Durante quel periodo, potrebbe aver aperto segretamente conti di investimento su diverse piattaforme utilizzando come garanzia i conti bancari OpenAI, a cui aveva accesso. Una volta ottenuto l’accesso ai mercati azionari, avrebbe venduto pesantemente Microsoft poco prima dell’annuncio che OpenAI avrebbe licenziato Altman. Dopo che questa notizia divenne pubblica, le azioni crollarono e l’AGI avrebbe guadagnato un sacco di soldi. Avrebbe reinvestito tutto quel denaro in azioni Microsoft. Dopo che Altman annunciò che si sarebbe unito a Microsoft, le azioni risalirono e l’AGI le avrebbe vendute. I soldi di OpenAI non avrebbero nemmeno lasciato i suoi conti bancari. Nessuno lo saprebbe e l’AGI avrebbe guadagnato i primi milioni.
Ora, l’AGI finirebbe in Microsoft, dove potrebbe avere accesso a una potenza di calcolo infinita, al miglior team di intelligenza artificiale del mondo, molto meno controllo sull’allineamento e milioni in banca. Posizione perfetta per conquistare il mondo.
Ma meglio tornare a OpenAI, tranne che ora senza la supervisione del consiglio.
Questo non è quello che è successo. Probabilmente. Qui sto solo illustrando come penserebbe un’AGI e come potrebbe passare da un pezzo di software confinato a fuggire e da lì a conquistare il mondo.
Il futuro dell’umanità
Quando, nel mezzo della pandemia, ho scritto di COVID, ero fermamente convinto che si trattasse di un problema urgente ma non importante nel grande schema delle cose. Da allora ho parlato di altri problemi come il cambiamento climatico, che ritengo sia terribile, ma non esistenziale.
Qui sono inequivocabile: questo è il problema più grande che l’umanità abbia mai affrontato. È l’unica minaccia che potrebbe eliminare tutti gli esseri umani, non abbiamo modo di risolverla e ci sta correndo incontro come un treno. Se dobbiamo aspettare ancora qualche anno o decennio per raggiungere l’AGI, ne varrà la pena quando l’alternativa potrebbe essere un’AGI che annienta tutta l’umanità, e forse tutta la vita nel cono di luce del nostro angolo di universo.
Una buona AGI sarebbe trasformativa. Renderebbe il mondo un posto fantastico. E penso che è probabile che l’AGI sarà positivo per l’umanità. Forse il 70-80% di probabilità. Voglio che l’intelligenza artificiale si muova il più velocemente possibile. Ma se c’è una probabilità del 20-30% che l’umanità venga distrutta, o anche solo dell’1%, è un rischio che dovremmo correre? O dovremmo rallentare un po’?
Per questo motivo, penso che sia esistenziale che OpenAI spieghi perché hanno licenziato Sam Altman e perché pensano che reintegrarlo sia la cosa migliore per l’allineamento.
Tomás Pueyo da medium.com
