Ecco il resoconto di un discorso di Berkeley Microsoft dell’aprile 2023 senza telecamere sulle capacità di GPT. E come questo conferma ed espande il nostro pensiero collettivo sull’emergere dell’intelligenza negli LLM.
Heather West ha appena pubblicato questo sul mio feed di LinkedIn. CREDITO | LinkedIn / Heather West
Cominciamo con le note di Heather West ( Execs on Deck ), pubblicate su LI, da questo discorso su GPT di Sebastian Bubeck di Microsoft all’Università di Berkeley :
La capacità di GPT-4 di ragionare, discutere e interagire “è l’ essenza dell’intelligenza “.
GPT-4 è “assolutamente sovrumano nella programmazione ” e “le sue capacità di scrittura sono sbalorditive “.
Bubeck ha usato GPT-4 per risolvere abilmente un disaccordo con sua moglie.
GPT-3 ha il livello di intelligenza di un bambino di 7 anni, mentre GPT-4 è indistinguibile da un adulto .
Mentre ML riguarda insegnare a una macchina un compito ben definito, non si tratta di imitare l’apprendimento umano. Data la portata dei dati, “Stiamo cercando di imitare qualcosa di più simile all’evoluzione ” .
Gli strumenti che sono stati utilizzati in ML ora sono quasi irrilevanti alla luce di GPT-4, sostiene Bubeck.
“Cognizione imbottigliata”
Questo è affascinante e conferma tutto il nostro pensiero e le prove riportate qui e da altri. E i risultati delineati nella prestampa Microsoft della scorsa settimana sul comportamento simile ad AGI in GPT-4 .
È da un po’ che chiamo ciò che fa GPT ” cognizione imbottigliata “. Penso che sia corretto pensarla in questo modo e non solo preoccuparsi di come lo sta facendo così tanto.
Funziona.
E sì, GPT-4 è molto meglio di GPT-3. Equivalente umano adulto. E meglio per la maggior parte del tempo, e di portata più ampia di qualsiasi individuo umano, naturalmente.
Sono d’accordo, il ML tradizionale è girato. Non morto. Ma useremo gli LLM per molto di più della generazione del linguaggio.
È finita
Ho discusso per 6 mesi proprio in queste pagine, che GPT “buono quanto” comprende il testo umano, e ho riferito con entusiasmo su GPT-4 .
Il dibattito è finito. GPT esegue in modo super affidabile una cognizione incredibile, buona quanto quella umana.
Per tutti gli argomenti secondo cui il ridimensionamento del conteggio dei parametri e l’iterazione del ciclo di sviluppo non porterebbero a tale miglioramento? Bene, ha fatto, almeno l’iterazione sugli algoritmi, se non il ridimensionamento in sé .
E ci sono ancora molte ricerche interessanti da fare su LLM e GPT, come funzionano, cosa ottengono esattamente .
Un algoritmo di decifrazione
Ma le statistiche delle parole – in effetti – hanno consentito a GPT di apprendere la logica, come dimostro in numerosi articoli ( elencati qui ) su Medium .
Gli LLM sono una sorta di motore di “decifrazione” ultra efficiente . Lancia geroglifici o il codice Enigma e, probabilmente, voilà!
Sì, è un noioso cercatore di schemi. Ma è terribilmente bravo a farlo. Trova la spiegazione sottostante che spiega meglio e in modo più compatto i dati.
E le spiegazioni migliori e più parsimoniose alla base del testo generato dall’uomo?
Ammontano a . . intelligenza a livello umano.
Shock. Orrore. Ma certo. Dah.
Gli oppositori come Gary Marcus e Noam Chomsky hanno appena sbagliato, chiaro e semplice. E Chomsky è un vero esperto. Ma è completamente sbagliato pensare che la linguistica sia l’essenza e la fine di tutta l’intelligenza ingegneristica.
Rigurgito vs cognizione
Parte del dibattito è guidato dall’affermazione oppositore secondo cui GPT “rigurgita” solo la sua formazione. Che tutto ciò che di nuovo crea per te è semplicemente copiato.
Ma ancora una volta, questo mostra ancora di più l’ignoranza di questi scettici .
Perché il rigurgito è l’unica cosa in cui GPT è cattivo! Da nessuna parte in GPT memorizza testualmente i suoi dati di addestramento . Ecco perché a volte ha allucinazioni.
Ma quello che sta facendo il 100% delle volte è applicare una cognizione simile a quella umana al tuo prompt di input. GPT ha imparato la logica e il buon senso umano.
Ed è quello che fa con una precisione quasi perfetta.
Significa che i nostri amici oppositori fraintendono GPT al massimo . Hanno la completa comprensione inversa di GPT dalla realtà.
A causa dei loro programmi e pregiudizi molto sciocchi.
Emergenza
Dovresti controllare i miei link sopra, ma il succo è che l’intelligenza e la comprensione “emergono” automaticamente dal semplice requisito che GPT preveda accuratamente la parola successiva.
Gli aggiornamenti nei 175 miliardi di parametri della rete neurale durante ogni fase dell’addestramento la stanno spingendo a prevedere la parola successiva meglio dell’ultima iterazione di addestramento.
Ciò significa che nel profondo di GPT, durante l’addestramento, vengono automaticamente create sottoreti che “capiscono” quasi tutto.
Dai motivi umani e dalle ironie della vita all’aritmetica e alla poesia romantica. E logica e buon senso.
I miei sparring partner – ad esempio Gary Marcus e Noam Chomsky – ridono di noi che facciamo queste affermazioni di ‘emergenza’.
Ma sappiamo che si sbagliano semplicemente perché GPT funziona. E quando cerchiamo le sottoreti interne . . li troviamo.
L’emergenza di cui parliamo non è mistica. È successo, in GPT. Semplicemente perché l’algoritmo di propagazione all’indietro ha “trovato” (iterato verso) le impostazioni dei parametri che decifrano il testo umano nei modelli di logica e conoscenza sottostanti che gli consentono meglio di prevedere la parola successiva.
È una tecnologia virtualmente aliena.
Ma non mistica.
Paul Pallaghy, PhD da medium.com
