ChatGPT Hype è la prova che nessuno capisce davvero l’IA
I grandi modelli linguistici sono più stupidi del gatto del tuo vicino
Se vuoi sapere com’è veramente una persona, guarda come tratta il personale in un ristorante. Il potere rivela il vero carattere di chi lo detiene.
Non potevo portare Sam Altman fuori a cena, ma potevo osservare il suo comportamento in una situazione simile: un’intervista dal vivo. Proprio come i clienti hanno un vantaggio sui camerieri, il CEO di OpenAI aveva un vantaggio sui suoi ascoltatori e quello che ha fatto è stato prendere ognuno di loro per uno sciocco.
“Ora [abbiamo] questi modelli linguistici che possono, uh, capire il linguaggio”, ha detto . “Non l’abbiamo ancora fatto funzionare perfettamente, ma funziona un po’ e andrà sempre meglio”.
Ci sono mille modi in cui Sam avrebbe potuto formulare quella prima frase, ma ha scelto l’unico verbo che trasmette una grossa bugia. Ma aspetta, potresti dire, ha aggiunto che funziona solo un po ‘, vero? Anche questa è una bugia perché i Large Language Models non capiscono niente e non possono migliorare in qualcosa che non possono fare.
La scatola nera Stronzate*t
Ciò che la maggior parte delle persone chiama “Intelligenza Artificiale” in questi giorni è un marchio specifico di tecnologia chiamato Machine Learning. Fondamentalmente mostri a un computer una serie di esempi di ciò che vuoi ottenere e gli chiedi di trovare un modo per produrre lo stesso risultato.
Il caso d’uso più comune per Machine Learning è il riconoscimento delle immagini. Supponi di volere che la tua “intelligenza artificiale” identifichi i gatti in immagini casuali. Tutto quello che devi fare è alimentare il tuo sistema con due serie di dati: molte immagini di “gatti” e molte immagini di “non gatti”. Nota che ogni immagine che inserisci deve essere etichettata, il che è un modo elegante per dire che alleghi un titolo a ciascuna delle tue immagini. In questo caso, le tue etichette sono “gatto” e “non gatto”.
Fornisci alla tua macchina un numero sufficiente di esempi “gatto/non gatto” e imparerà a riconoscere i gatti in quasi tutte le immagini. La svolta qui è che non hai bisogno di codice: solo dati, molti. La tua macchina utilizza i tuoi esempi accuratamente curati per insegnare a se stessa, per così dire, motivo per cui chiamiamo questo campo Machine Learning o ML.
Nella vita reale, non sempre hai tutti i dati di qualità che vorresti. Ma puoi rimediare usando i cicli di feedback. Di tanto in tanto rivedi il lavoro della tua macchina e la spingi nella giusta direzione. Ti comporti come un insegnante che sta addestrando uno studente molto laborioso ma anche molto stupido.
Cassie Kozyrkov
Il corso di è uno dei posti migliori per scoprire come funziona il Machine Learning.
Ora ecco il kicker. Non sarai mai in grado di dare istruzioni dirette al tuo studente robotico e non saprai mai cosa pensa. Anche se il tuo studente ti dicesse come la pensa, non capiresti perché sta usando un linguaggio completamente diverso.
In altre parole, il tuo modello di Machine Learning scrive il proprio codice in una lingua che non puoi leggere. Ecco perché le persone AI/ML parlano spesso di una scatola nera. “Nessuno sa cosa sta succedendo all’interno di un modello di Machine Learning”, dicevano. “È una dannata scatola nera!!!”
Ora, questo va bene finché le persone non iniziano a usare scatole nere per fare affermazioni deliranti come “ChatGPT capisce il linguaggio”. Diranno che non sappiamo cosa sta succedendo all’interno di ChatGPT, ma sta rispondendo abbastanza bene alle nostre domande, giusto? Forse ha capito il linguaggio dopo averne consumato una tonnellata!?!
L’affermazione sembra plausibile, ma come molte delle risposte di ChatGPT, è pura stronzata.
Il re del pasticcio
Non sappiamo cosa sta succedendo all’interno di un modello di Machine Learning, ma sappiamo sicuramente come funziona . È come quando vai in bicicletta. Non puoi descrivere completamente come si comporta ogni cellula del tuo corpo, ma sai che si tratta di bilanciare il tuo peso.
I modelli di linguaggio di grandi dimensioni, che sono il sapore di Machine Learning utilizzato da ChatGPT, funzionano imitando il linguaggio umano senza capirlo effettivamente. Questo ci porta a Gary Marcus , un appassionato di intelligenza artificiale, fondatore e autore di Rebooting AI, uno dei 7 libri da leggere di Forbes sull’argomento.
Gary paragona le risposte di ChatGPT al “pastiche”, l’atto di imitare il lavoro di uno o più creatori per produrre un nuovo contenuto. Si potrebbe dire che ChatGPT unisce le parole per formare risposte plausibili basate su modelli di testo assorbiti da Internet. La parola chiave qui è “plausibile”.
ChatGPT, in particolare, e GPT (il modello dietro di esso), in generale, sono ottimizzati per la plausibilità. Non per precisione. Non per il controllo dei fatti. Non per la verità. Tutto ciò che interessa a GPT è produrre un mucchio di testo che sembra avere un senso, anche quando è una cazzata totale. Gary Marcus ha spiegato questa tendenza in quattro punti eleganti:
1. La conoscenza riguarda in parte proprietà specifiche di entità particolari . Il mimetismo di GPT attinge a vasti tesori di testo umano che, ad esempio, spesso mettono insieme soggetti [ Inghilterra ] con predicati [ vinto 5 concorsi Eurovision ].
2. Nel corso della formazione, GPT a volte perde di vista le precise relazioni (“legami”, per usare un termine tecnico) tra quelle entità e le loro proprietà .
3. L’uso massiccio di GPT di una tecnica chiamata incorporamenti lo rende davvero efficace nella sostituzione di sinonimi e frasi più in generale correlate, ma la stessa tendenza alla sostituzione spesso lo porta fuori strada.
4. [GPT] non padroneggia mai completamente la relazione astratta. Non sa ad esempio, in modo del tutto generale, che per tutti i paesi A e tutti i B, se il paese A ha vinto più partite del paese B, il paese A è un candidato migliore per “paese che ha vinto più partite”
Lo ripeterò fino a diventare rauco: GPT non capisce niente di quello che dici. Non capisce le tue domande e non capisce nemmeno le sue stesse risposte. In effetti, ogni singolo modello linguistico che si basa esclusivamente sul Deep Learning è più stupido del gatto del tuo vicino.
I gatti hanno una rappresentazione del mondo che li aiuta a navigare. Hanno anche istinti programmati nei loro cervelli, che consentono loro di agire con relativa logica. Al contrario, GPT e Co hanno solo modelli di testo scritto dall’uomo privi di significato. Questo è, ad esempio, il motivo per cui ChatGPT non riesce a calcolare la matematica di base nonostante la sua capacità di produrre una prosa “sofisticata”. Perché? ChatGPT non ha capacità di ragionamento.
Yann LeCun è professore alla New York University e Chief AI Scientist presso Meta.
Cosa succede se rinchiudi un bambino in una biblioteca per 20 anni?
La controargomentazione di Sam Altman e dei suoi seguaci è che tutto ciò di cui hai bisogno sono più dati. Se vuoi rendere intelligenti i Large Language Models, fornisci loro più esempi, più parametri e più etichette. Quindi siediti e spera che la “ragione” emerga in qualche modo.
Consideriamo ora il seguente esperimento mentale.
Immagina di rinchiudere un neonato da solo in una biblioteca. Chiamiamolo Loki e supponiamo che non abbia bisogno di cibo, acqua, sonno e amore. Hai Loki che guarda migliaia di libri tutto il giorno, ogni singolo giorno, per 20 anni senza sosta. Non gli insegni niente di grammatica e non spieghi mai cosa significano le parole inglesi.
Ora immagina di tornare due decenni dopo e, sotto la porta chiusa della biblioteca, infili un pezzo di carta che dice: “Ciao Loki, qual è il tuo colore preferito?”
Ti aspetti che Loki capisca la tua domanda?
Loki potrebbe ricordare la tua domanda da uno dei dialoghi che aveva visto in precedenza . Ricorda, Loki non legge le parole; li vede nello stesso modo in cui vedi i caratteri giapponesi/arabi/ebraici senza essere in grado di leggerli, figuriamoci dire cosa significano.
L’unica differenza è che Loki ha una memoria super forte che gli permette di ricordare ogni parola che ha visto prima. Ancora meglio, memorizza schemi di frasi ed espressioni che può replicare. Questo lo rende capace di riscrivere risposte plausibili ispirate a due libri che ha consumato, qualcosa del tipo: “Ciao, amo il viola perché è associato alla creatività, al lusso e alla raffinatezza [ispirato al libro n. 1] e può evocare sentimenti di tranquillità e calma [ispirato al libro n. 2]”.
Ora lascia che te lo chieda di nuovo, pensi che Loki capisca la tua domanda?
Non importa quanti libri consumi il povero ragazzo, non capirà mai di cosa diavolo stai parlando. Non capirà neanche di cosa diavolo sta parlando. Loki semplicemente pasticcierà una risposta e quella risposta gli farà sembrare di capire. Ma in realtà, Loki è pieno di merda senza senso.
Vedi, Loki è un Large Language Model, proprio come ChatGPT. Puoi dar loro da mangiare tutti i dati che vuoi; non svilupperanno mai spontaneamente un senso della logica.
29 miliardi di dollari
È il prezzo che secondo quanto riferito gli investitori hanno messo su OpenAI due mesi dopo che ChatGPT è diventato virale e le stesse fonti affermano che Microsoft ha iniettato 10 miliardi di dollari in OpenAI.
A prescindere dai numeri, le due società hanno confermato la loro collaborazione e hanno già fatto progressi nell’aggiornamento dei prodotti Microsoft . In particolare, Microsoft ha annunciato una nuova versione del suo motore di ricerca Bing che utilizzerà le funzionalità dei chatbot.
Questi sviluppi hanno fatto sentire Google sotto minaccia esistenziale , il che ha portato a una serie di riunioni di emergenza. Google ha quindi deciso di spedire i propri prodotti basati sull’intelligenza artificiale il prima possibile.
A prima vista, la notizia sembra ottima per gli amanti dell’IA, me compreso. La competizione porta al miglioramento e all’innovazione. Ma la concorrenza rende anche le persone più inclini al rischio e alle cazzate.
Sam Altman ha mentito al suo pubblico sulla capacità dei modelli GPT e Sundar Pichai , CEO di Google, ha deciso di ignorare i guardrail che aveva precedentemente impostato per la sua azienda. Mentre gli amministratori delegati si impegnano in una corsa all’IA, il resto del mondo si prepara a uno tsunami di disinformazione online.
Oh andiamo, potresti obiettare, questi tizi intelligenti sanno cosa stanno facendo! Sicuramente non prenderebbero decisioni avventate e rovinerebbero tutto, giusto?
“Alphabet Inc ha perso 100 miliardi di dollari di valore di mercato mercoledì [2023-02-08] dopo che il suo nuovo chatbot ha condiviso informazioni imprecise in un video promozionale e un evento aziendale non è riuscito a stupire”, ha scritto Reuters , descrivendo il seguente tweet:
Il James Web Space Telescope non ha scattato le prime foto di esopianeti. È stato l’European Very Large Telescope a farlo .
Non ci sono ancora grossi errori da parte di Microsoft, ma la società sembra sapere cosa sta arrivando, motivo per cui ha tenuto a mettere in guardia i propri utenti. “Bing a volte rappresenta in modo errato le informazioni che trova e potresti vedere risposte che sembrano convincenti ma sono incomplete, imprecise o inappropriate”, hanno scritto . “Usa il tuo giudizio e ricontrolla i fatti prima di prendere decisioni o agire in base alle risposte di Bing.”
Sia Google che Microsoft stanno adottando la stessa losca tecnica.Scaricano il rischio sui propri utenti per evitare conseguenze negative. Spediranno generatori di stronzate gratuiti e diranno che spetta alla gente comune setacciare il casino.
Google e Bing potrebbero produrre nuove stronzate basate su stronzate esistenti.
Forse è l’arroganza, l’ambizione o persino l’illusione che sta spingendo gli amministratori delegati della tecnologia a vendere stupidi modelli di linguaggio di grandi dimensioni come una soluzione intelligente per navigare nel mondo online. Ma l’hype “AI” che vedi sui social media? Beh, questo è sicuramente guidato da una mancanza di istruzione.
Ci innamoriamo di ciò che ci dicono i leader intelligenti ed eloquenti. Crediamo nei loro nobili sogni e vogliamo vederli avere successo, e va bene. Quello che non va bene è ignorare le bandiere rosse, specialmente quando tutto ciò che devi vedere è prestare attenzione, sia in un ristorante che in un’intervista dal vivo.
di Nabil Alouani da medium.com
