Facebook AI ha condiviso una nuova ricerca e due nuovi set di dati: TOPv2; e MTOP– per aiutare a sviluppare sistemi di IA conversazionale sofisticati ed efficaci . Secondo un rapporto Deloitte , si prevede che il mercato dell’IA conversazionale aumenterà da 6 miliardi di AUD nel 2019 a 22,6 miliardi di AUD entro il 2024, con un CAGR del 30,2 percento tra il 2019 e il 2024.
I sistemi di intelligenza artificiale conversazionale hanno molti limiti. Ad esempio, i miglioramenti nei sistemi esistenti sono limitati alle persone che parlano lingue ampiamente utilizzate come l’inglese. Inoltre, è abbastanza difficile scalare i sistemi esistenti per supportare nuovi casi d’uso.
L’analisi semantica, il compito di convertire un’espressione del linguaggio naturale in una rappresentazione comprensibile dalla macchina, è una componente fondamentale degli assistenti virtuali. I modelli esistenti di comprensione del linguaggio naturale (NLU) dipendono da enormi quantità di dati di addestramento annotati per questa attività. Tuttavia, il problema è che i set di dati di grandi dimensioni non sono disponibili per le lingue meno popolari.
Il metodo proposto dai ricercatori supera questi limiti.
Ricerca
Ricercatori tra cui Xilun Chen, Asish Ghoshal, Yashar Mehdad, Luke Zettlemoyer e Sonal Gupta hanno pubblicato un articolo incentrato sull’adattamento di parser semantici orientati ai compiti a domini con poche risorse. Il team ha proposto un nuovo metodo in grado di superare un modello neurale supervisionato con una riduzione dei dati di 10 volte. In poche parole, il nuovo sistema di intelligenza artificiale per conversazioni all’avanguardia utilizza dati di addestramento dieci volte inferiori per eseguire attività complesse e non familiari.
Lo studio fornisce dettagli su un modello NLU multilingue che supera i modelli monolingua. Inoltre, l’approccio funziona bene per supportare casi d’uso più diversificati in più lingue.
I ricercatori hanno migliorato i modelli NLU per supportare una gamma più ampia di domini senza fare affidamento principalmente su dati di addestramento annotati manualmente. Con un minimo di 25 esempi di addestramento per intento o etichetta di slot, la tecnica può generare parser semantici orientati alle attività per nuovi domini.
“Esistono diverse strategie di formazione per l’adattamento del dominio. Ad esempio, si può impiegare un training congiunto che addestra un singolo modello con tutti i dati disponibili sia sui domini di origine che su quelli di destinazione. Un altro approccio, che abbiamo trovato superiore, è la strategia di pre-addestramento e messa a punto, in cui un modello viene prima addestrato sui domini di origine e poi messo a punto sui domini di destinazione a basse risorse”, come da documento.
“D’altra parte, quando vengono adottate rappresentazioni linguistiche preformate come RoBERTa o BART, quest’ultima strategia diventa un processo di formazione in 3 fasi: addestrare RoBERTa/BART; mettere a punto i domini di origine; perfezionare nuovamente sui domini di destinazione.”
Le tre fasi includono:
La prima fase, che non rientra nell’ambito di questo documento, è la fase di pre-formazione, in cui vengono apprese le rappresentazioni linguistiche auto-supervisionate.
Quindi, viene messo a punto sui domini di origine. La fase è denominata training di origine per evitare ambiguità con la fase finale.
Il modello addestrato alla sorgente viene nuovamente messo a punto sui domini di destinazione nella fase finale, indicata come messa a punto.
L’approccio si distingue dai metodi precedenti su due fronti:
In primo luogo, le rappresentazioni pre-addestrate del solo encoder utilizzate nel lavoro esistente non sono ideali per il modello seq2seq impiegato nell’analisi semantica orientata al compito e propongono invece di utilizzare BART, un modello pre-addestrato con un’architettura encoder-decodificatore.
Ancora più importante, i ricercatori adottano il meta-apprendimento basato sull’ottimizzazione per migliorare la generalizzazione del modello a nuovi domini target con pochissimi campioni di addestramento.
“Raccogliamo il set di dati TOPv2, un set di dati di analisi semantica orientato alle attività multidominio su larga scala con otto domini e oltre 180k campioni annotati per valutare i nostri modelli, che rilasciamo alla comunità di ricerca”, hanno affermato i ricercatori.
Facebook ha anche reso disponibile il set di dati MTOP, un set di dati di analisi multilingue orientato alle attività con circa 100.000 espressioni totali che coprono sei lingue, 11 domini e 117 categorie di intenti.
