Pronuncia “01101000 01101001” a BERT ed ERNIE. Illustrazione: Getty Images / The Verge / Alex Castro
Una delle più grandi tendenze dell’intelligenza artificiale di recente è stata la creazione di modelli di apprendimento automatico in grado di generare la parola scritta con una fluidità senza precedenti. Questi programmi cambiano il gioco e potenzialmente potenziano la capacità dei computer di analizzare e produrre il linguaggio.
Ma qualcosa che è passato in gran parte inosservato è una tendenza secondaria – un’ombra alla prima – e cioè: un numero sorprendente di questi strumenti prende il nome da Muppets.
Ad oggi, questa nuova generazione di AI linguistici include un ELMo , un BERT , un Grover , un Big BIRD , un Rosita , un RoBERTa , almeno due ERNIE (tre se includi ERNIE 2.0 ) e un KERMIT . Giocatori di grande tecnologia come Google, Facebook e Allen Institute for AI sono tutti coinvolti, e la mania ha una portata globale, con il colosso cinese della ricerca Baidu e l’Università Tsinghua di Pechino che contribuiscono ai modelli. La convenzione di denominazione è così ben stabilita che questi sistemi vengono talvolta definiti “Muppetware”. Ma chi ha avviato la convenzione e perché?
Come avrete intuito, la semplice risposta è: è uno scherzo interiore, con i ricercatori che nominano i modelli AI come Muppet perché altri ricercatori hanno chiamato i modelli AI come Muppet. Ma è uno scherzo che capita di evidenziare una particolare caratteristica della ricerca sull’intelligenza artificiale, dimostrando come i laboratori rendono omaggio e si basano sul lavoro reciproco.
La tendenza è iniziata con ELMo, un modello ideato dall’Allen Institute e pubblicato per la prima volta online nell’ottobre 2017. Come spesso accade con la ricerca che apre nuovi orizzonti, il team dietro il lavoro ha voluto trovare un acronimo scattante per il loro modello. L’autore principale dell’articolo, Matt Peters, ha detto a The Verge tramite e-mail che hanno fatto un brainstorming di idee su Slack.
“Avevamo un elenco di lettere utilizzabili in un acronimo”, afferma Peters. “Modello linguistico, contestuale, incorporamenti, ecc.” Era un ingegnere di nome Joel Grus che ha inventato “ELMo” per indicare “Incorporamenti da modelli linguistici”, dice, e il nome “bloccato istantaneamente”.
“ALL’EPOCA MIO FIGLIO MAGGIORE AVEVA CIRCA TRE ANNI ED ERA ANCHE IL MIO MODO DI DEDICARGLI IL FOGLIO.”
“Mi è piaciuto perché è alquanto stravagante ma memorabile”, afferma Peters. “All’epoca mio figlio maggiore aveva circa tre anni ed era anche il mio modo di dedicargli il foglio.”
ELMo avrebbe potuto essere una tantum se non fosse stato per BERT – un modello linguistico creato dal team AI di Google nel 2018. Questo modello si è rivelato potente e influente e ha spinto una serie di nuove idee sulla generazione del linguaggio nel mainstream dell’IA.
BERT stesso sta ufficialmente per rappresentazioni dell’encoder bidirezionale di Transformers, e sebbene Google abbia rifiutato più richieste da The Verge per discutere le origini del nome, si ritiene che i ricercatori, come quelli di Allen, abbiano in mente i Muppet. Nel post sul blog di Google sull’argomento, la società afferma che “BERT si basa sul recente lavoro di rappresentazioni contestuali pre-training, tra cui … ELMo.”
BERT ha ottenuto risultati all’avanguardia su numerosi test ed ha avuto un tale successo che Google l’ha recentemente incorporata nel suo motore di ricerca . Una volta rilasciato il modello, si aprirono le porte di Muppetware, e presto fu seguito da molti algoritmi intelligenti con acronimi a forza bruta, tra cui ERNIE (Enhanced Representation through Knowledge Integration), KERMIT (Kontextuell Encoder Representations Made by Insertion Transformations) e Big BIRD (Grandi rappresentazioni di inserimento bidirezionale per documenti).
Muppetware sta avendo un grande impatto: Google ha incorporato BERT nel suo motore di ricerca per migliorare la comprensione del linguaggio. Credito: Google
Ma la tendenza è più di uno scherzo. Come spiega Oren Etzioni, CEO di Allen Institute, è anche un modo serio per riconoscere il “debito intellettuale” nel mondo dell’IA. “ELMo è stato chiamato così come un capriccio, ma BERT si basa direttamente sulle intuizioni di ELMo; Grover utilizza BERT, ecc. ”Etzioni ha detto a The Verge tramite e-mail. “Sottolineare il credito che è dovuto a ELMo è molto importante per noi … Snuffaluffagus non può essere molto indietro!”
Mitchell Stern, uno studente di dottorato a Berkeley che ha contribuito a creare KERMIT e Big BIRD, ha affermato che la convenzione di denominazione è stata per lo più divertente, ma ha anche un “aspetto di branding”.
LA DENOMINAZIONE DEI MODELLI DOPO MUPPETS È UN MODO PER RICONOSCERE IL DEBITO INTELLETTUALE
“Data la diffusione di questa tendenza, le persone che lavorano in quest’area riconosceranno naturalmente i nuovi articoli contenenti un nome con il nome di Sesame Street “, ha detto Stern a The Verge tramite e-mail. E mentre non ogni modello di linguaggio AI utilizzando queste nuove tecniche è il nome di un Muppet (di OpenAI ben viaggiato GPT-2 è una sola eccezione, anche se “Snuffleupagus, o Snuffy in breve” è stato considerato come un nome prima di essere respinto come troppo irriverente), è abbastanza sicuro che se vedi un modello Muppetware sai quali approcci sta usando.
Tutto ciò, a sua volta, ci aiuta a capire in che modo il mondo dell’intelligenza artificiale dipende dall’apertura e dalla collaborazione per generare e perfezionare idee. L’intelligenza artificiale non è una disciplina in cui gli scienziati solitari lavorano duramente nel laboratorio di notte, pompando elettricità attraverso i processori e ridacchiando “È alieno” su una linea di comando luminosa. (Dichiarazione di non responsabilità: questo certamente accade, ma non è sempre l’approccio più produttivo.) Invece, i progressi tendono ad essere iterativi e collaborativi, con gruppi di ricercatori che si basano sul lavoro e sulle idee degli altri.
E mentre è possibile che la battuta di Muppetware si esaurisca abbastanza presto, fino a quando ciò accade, è una tradizione adatta. Dopotutto, la collaborazione e il rispetto sono esattamente il tipo di caratteristiche di cui i personaggi di Sesame Street sarebbero orgogliosi.
Aggiornamento mer 11 dic, 12:00 PM ET: Story aggiornata per notare che OpenAI ha considerato di chiamare GPT-2 “Snuffleupagus, o Snuffy in breve”, secondo il direttore delle politiche Jack Clark.
