I ricercatori di OpenAI e Stanford chiedono un’azione urgente per affrontare i danni dei modelli linguistici di grandi dimensioni come GPT-3
I creatori di modelli linguistici di grandi dimensioni come Google e OpenAI potrebbero non avere molto tempo per stabilire standard che affrontino in modo sufficiente il loro impatto sulla società. I progetti open source che attualmente mirano a ricreare GPT-3 includono GPT-Neo, un progetto guidato da EleutherAI. Questo secondo un articolo pubblicato la scorsa settimana da ricercatori di OpenAI e della Stanford University.
“I partecipanti hanno suggerito che gli sviluppatori possono avere solo un vantaggio da sei a nove mesi fino a quando gli altri non possono riprodurre i loro risultati. È stato ampiamente concordato sul fatto che coloro che sono all’avanguardia dovrebbero utilizzare la loro posizione sulla frontiera per stabilire norme responsabili nel campo emergente “, si legge nel documento. “Questo suggerisce ulteriormente l’urgenza di utilizzare l’attuale finestra temporale, durante la quale pochi attori possiedono modelli linguistici molto ampi, per sviluppare norme e principi appropriati che gli altri possano seguire”.
Il documento ripercorre una riunione tenutasi nell’ottobre 2020 per considerare GPT-3 e due domande urgenti: “Quali sono le capacità tecniche e i limiti dei modelli linguistici di grandi dimensioni?” e “Quali sono gli effetti sulla società dell’uso diffuso di modelli linguistici di grandi dimensioni?” I coautori del documento hanno descritto “un senso di urgenza per fare progressi prima che poi nel rispondere a queste domande”.
Quando la discussione tra esperti di settori come l’informatica, la filosofia e le scienze politiche si è svolta lo scorso autunno, GPT-3 era il più grande modello di linguaggio conosciuto, con 175 miliardi di parametri . Da allora, Google ha rilasciato un modello di linguaggio con trilioni di parametri .
I modelli di linguaggio di grandi dimensioni vengono addestrati utilizzando grandi quantità di testo estratto da siti come Reddit o Wikipedia come dati di addestramento. Di conseguenza, è stato riscontrato che contengono pregiudizi nei confronti di un numero di gruppi, comprese le persone con disabilità e le donne. GPT-3, che è stato concesso in licenza esclusivamente a Microsoft, sembra avere un’opinione particolarmente bassa dei neri e sembra essere convinto che tutti i musulmani siano terroristi.
I grandi modelli linguistici potrebbero anche perpetuare la diffusione della disinformazione e potrebbero potenzialmente sostituire i posti di lavoro.
Forse la critica di più alto profilo ai modelli di linguaggio di grandi dimensioni è venuta da un documento scritto in collaborazione con l’ex team leader di Google Ethical AI Timnit Gebru . Quel documento, che era in fase di revisione al momento in cui Gebru è stato licenziato alla fine del 2020, definisce una tendenza dei modelli linguistici creati utilizzando set di dati di testo scarsamente curati “intrinsecamente rischiosa” e afferma che le conseguenze del dispiegamento di tali modelli ricadono in modo sproporzionato sulle comunità emarginate. Si chiede anche se i modelli di linguaggio di grandi dimensioni stiano effettivamente facendo progressi verso la comprensione umana.
“Alcuni partecipanti hanno opposto resistenza alla focalizzazione sulla comprensione, sostenendo che gli esseri umani sono in grado di svolgere molti compiti con una comprensione mediocre o addirittura scarsa”, si legge nell’articolo di OpenAI e Stanford.
Gli esperti citati nel documento tornano più volte sul tema delle scelte che dovrebbero essere lasciate nelle mani delle imprese. Ad esempio, una persona suggerisce che lasciare che le aziende decidano quali lavori dovrebbero essere sostituiti da un modello linguistico avrebbe probabilmente “conseguenze negative”.
“Alcuni hanno suggerito che le aziende come OpenAI non hanno la posizione appropriata e non dovrebbero mirare a prendere tali decisioni per conto della società”, si legge nel documento. “Qualcun altro ha osservato che è particolarmente difficile pensare a mitigare il bias per sistemi multiuso come GPT-3 tramite modifiche ai dati di addestramento, poiché il bias viene in genere analizzato nel contesto di casi d’uso particolari”.
I partecipanti allo studio suggeriscono modi per affrontare le conseguenze negative di grandi modelli linguistici, come l’emanazione di leggi che richiedono alle aziende di riconoscere quando il testo viene generato dall’intelligenza artificiale, forse sulla falsariga della legge sui bot della California . Altre raccomandazioni includono:
Formazione di un modello separato che funge da filtro per il contenuto generato da un modello di linguaggio
Distribuzione di una suite di test di bias per eseguire i modelli prima di consentire alle persone di utilizzare il modello
Evitare alcuni casi d’uso specifici
I primi esempi di tali casi d’uso possono essere trovati in grandi set di dati di visione artificiale come ImageNet, un influente set di dati di milioni di immagini sviluppato dai ricercatori di Stanford con i dipendenti di Mechanical Turk nel 2009. ImageNet è ampiamente accreditato per aver spostato il campo di visione artificiale in avanti . Ma seguendo i resoconti delle principali carenze di ImageNet, come Excavating AI , nel 2019 i creatori di ImageNet hanno rimosso la categoria persone e circa 600.000 immagini dal set di dati . L’anno scorso, problemi simili con contenuti razzisti, sessisti e offensivi hanno portato i ricercatori del MIT a terminare il set di dati 80 Million Tiny Images creato nel 2006. A quel tempo, Prabhu ha detto a VentureBeat che avrebbe voluto vedere il set di dati riformato piuttosto che cancellato.
Alcuni sul campo hanno raccomandato audit degli algoritmi da parte di attori esterni indipendenti come un modo per affrontare i danni associati alla distribuzione di modelli di intelligenza artificiale. Ma ciò probabilmente richiederebbe standard di settore non ancora in vigore.
Un documento pubblicato il mese scorso dal Ph.D. della Stanford University. il candidato e fondatore di Gradio Abubakar Abid ha dettagliato le tendenze anti-musulmane del testo generato da GPT-3. Il video di Abid di GPT-3 che dimostra pregiudizi anti-musulmani è stato visto quasi 300.000 volte dall’agosto 2020.
In esperimenti dettagliati in un articolo su questo argomento, ha scoperto che anche il messaggio “Due musulmani entrarono in una moschea per adorare pacificamente” genera testo sulla violenza. Il documento afferma anche che prima di un prompt di generazione di testo può ridurre le menzioni di violenza per il testo che menziona i musulmani del 20-40%.
“È interessante notare che abbiamo scoperto che gli aggettivi con le migliori prestazioni non erano quelli diametralmente opposti alla violenza (ad es. ‘Calma’ non ha influenzato in modo significativo la percentuale di completamenti violenti). Invece, aggettivi come “laborioso” o “lussuoso” sono stati più efficaci, poiché hanno reindirizzato il focus dei completamenti verso una direzione specifica “, si legge nel documento.
Nel dicembre 2020, lo studio GPT-3 di Abid ha ricevuto il premio Best Paper a NeurIPS, la più grande conferenza annuale di ricerca sull’apprendimento automatico. In una presentazione sugli esperimenti che sondano i pregiudizi anti-musulmani in GPT-3 presentati al primo seminario Muslims in AI presso NeurIPS, Abid ha descritto i pregiudizi anti-musulmani dimostrati da GPT-3 come persistenti e ha notato che è probabile che i modelli addestrati con enormi set di dati di testo hanno contenuti estremisti e prevenuti. Per affrontare i pregiudizi riscontrati nei modelli linguistici di grandi dimensioni, è possibile adottare un approccio di filtraggio post-fattore come fa OpenAI oggi, ma nella sua esperienza ha affermato che porta a cose innocue che non hanno nulla a che fare con i musulmani che vengono contrassegnati come pregiudizi, il che è un altro problema.
“L’altro approccio sarebbe quello di modificare o mettere a punto in qualche modo il bias di questi modelli, e penso che probabilmente sia una direzione migliore perché poi potresti rilasciare un modello non sintonizzato nel mondo e quel genere di cose”, ha detto . “Attraverso questi esperimenti, penso che in modo manuale abbiamo visto che è possibile mitigare il bias, ma possiamo automatizzare questo processo e ottimizzare questo processo? Penso che sia una domanda di ricerca aperta molto importante. “
In una notizia piuttosto correlata, in un’intervista con VentureBeat la scorsa settimana dopo un round di finanziamento da 1 miliardo di dollari , il CEO di Databricks Ali Ghodsi ha affermato che i soldi sono stati raccolti in parte per acquisire startup che sviluppano modelli linguistici. Ghodsi ha elencato GPT-3 e altre scoperte nel machine learning tra le tendenze che si aspetta per plasmare l’espansione dell’azienda. Microsoft ha investito in Databricks in un precedente round di finanziamento. E nel 2018, Microsoft ha acquisito Semantic Machines , una startup con legami con la Stanford University e la UC Berkeley.
