Perché Meta ha rimosso il suo modello di intelligenza artificiale “allucinante” Galactica?
“La realtà è che i grandi modelli linguistici come GPT-3 e Galactica sono come tori in un negozio di porcellane, potenti ma spericolati”
Mercoledì, MetaAI e Papers with Code hanno annunciato il rilascio di Galactica, un modello di linguaggio di grandi dimensioni open source addestrato sulla conoscenza scientifica, con 120 miliardi di parametri. Tuttavia, pochi giorni dopo il suo lancio, Meta ha eliminato Galactica.
È interessante notare che ogni risultato generato da Galactica è arrivato con l’avvertimento: gli output potrebbero essere inaffidabili. I modelli linguistici sono inclini ad allucinare il testo.
“Galactica è addestrato su un corpus ampio e curato di conoscenze scientifiche dell’umanità. Ciò include oltre 48 milioni di documenti, libri di testo e dispense, milioni di composti e proteine, siti Web scientifici, enciclopedie e altro ancora”, afferma il documento.
Galactica è stato progettato per affrontare il problema del sovraccarico di informazioni quando si accede alle informazioni scientifiche attraverso i motori di ricerca, dove non esiste una corretta organizzazione della conoscenza scientifica.
Tuttavia, quando i membri della comunità hanno iniziato a utilizzare il nuovissimo modello AI di Meta, molti di loro hanno trovato i risultati sospetti. In effetti, molti si sono rivolti a Twitter per sottolineare che i risultati presentati da Galactica erano in realtà altamente imprecisi.
Alex Polozov, ricercatore dello staff di Google, ha definito Galactica una fonte inesauribile di esempi contraddittori per la ricerca su allucinazioni, attribuzioni e allineamenti.
Risultati falsi
“Ho chiesto al Galactica alcune cose che so e sono preoccupato. In tutti i casi, era sbagliato o prevenuto ma suonava giusto e autorevole. Penso che sia pericoloso”, ha detto Micheal Black, direttore del Max Planck Institute for Intelligent Systems.
Gary Marcus , professore di psicologia e scienze neurali alla New York University, è un critico popolare del deep learning e AGI ha anche utilizzato Twitter per affermare che Galactica ha sbagliato il suo compleanno, l’istruzione e gli interessi di ricerca. Quasi l’85% dei risultati presentati da Galactica su Marcus non erano veri, secondo lui.
Tariq Desai, capo di Data Science presso ExploreAI, ha dichiarato ad AIM che in realtà era sinceramente entusiasta di provare Galactica perché sembrava un modo prezioso per cercare e sintetizzare la conoscenza scientifica. “Tuttavia, i pochi esempi che ho provato suggerivano che il modello era più efficace nell’imitare la forma della scrittura scientifica che nel riprodurne il contenuto semantico. Ad esempio, ho suggerito il modello per una “revisione della letteratura sul fatto che l’HIV causi l’AIDS” e mi è stato presentato un testo che era semplicemente sbagliato su questa domanda e che ha inventato citazioni e ricerche.
“Galactica è stato utile per esplorare i contenuti matematici, tuttavia, e dimostra il potenziale di alcune interessanti applicazioni in quella sfera”, ha aggiunto Desai.
È interessante notare che il documento affermava che Galactica batte GPT-3, uno dei modelli di linguaggio di grandi dimensioni più popolari, del 68,2% contro il 49,0% su sonde di conoscenza tecnica come le equazioni LaTeX.
Risultati imprecisi potrebbero essere pericolosi
Julian Togelius, professore associato alla New York University, ha anche sottolineato che Galactica non solo ha sbagliato il suo nome, ma non è riuscito a riassumere il suo lavoro. “Chiedere a Galactica di riassumere il mio lavoro dà risultati che variano da esilarantemente sbagliato a in realtà per lo più corretto.”
Ha anche sottolineato che mentre per lui è stato facile capire la differenza, potrebbe non essere lo stesso per qualcuno che non lo conosce personalmente.
Anche se alcuni dei risultati sono isterici, risultati imprecisi o falsamente generati potrebbero rivelarsi problematici perché potrebbero essere percepiti come corretti da altri membri della comunità e potrebbero rivelarsi altamente pericolosi in termini di ricerca scientifica .
A questo proposito, Black ha affermato che Galactica genera un testo grammaticalmente corretto e che sembra reale. “Questo testo scivolerà in vere proposte scientifiche. Sarà realistico ma sbagliato o prevenuto e difficile da rilevare. Influenzerà il modo in cui le persone pensano”, ha detto.
“Offre una scienza dal suono autorevole che non è fondata sul metodo scientifico. Produce pseudoscienza basata su proprietà statistiche della scrittura scientifica. Scrivere scienze grammaticali non è la stessa cosa che fare scienze. Ma sarà difficile distinguere”, ha aggiunto.
Spiegando ulteriormente, Black ha affermato che è stato aperto un vaso di Pandora e che esiste la possibilità di falsi scientifici profondi. I nomi dei ricercatori potrebbero essere citati su documenti che non hanno scritto. Inoltre, questi articoli saranno poi citati da altri ricercatori in articoli reali. “Che casino sarà”, disse Black.
Marcus concorda anche con le opinioni di Black su Galactica e su come tali modelli potrebbero rivelarsi pericolosi. “La realtà è che i grandi modelli linguistici come GPT-3 e Galactica sono come tori in un negozio di porcellane, potenti ma spericolati. E probabilmente aumenteranno notevolmente la sfida della disinformazione”, ha affermato.
