Il 61° capitolo dell’Association for Computational Linguistics si sta svolgendo a Toronto, in Canada, e sta attirando l’attenzione di ricercatori e professionisti nel campo della linguistica computazionale. Tra i numerosi documenti di ricerca presentati durante l’incontro annuale, ne sono stati selezionati otto che hanno suscitato particolare interesse.
- Backpack Language Models
I modelli di linguaggio AI mostrano dei pregiudizi di genere nelle distribuzioni dei pronomi, favorendo i pronomi di genere basati sul contesto. Tuttavia, è possibile invertire questo pregiudizio sostituendo le professioni associate agli stereotipi di genere. Il problema consiste nel raggiungere un de-biasing coerente in tutti i contesti. Il metodo Backpack LM risolve questa problematica sfruttando vettori di senso non contestuali, che catturano molteplici aspetti del significato di una parola. Integrando il metodo Backpack LM, è possibile mitigare i pregiudizi e creare modelli linguistici più equi e inclusivi, offrendo allo stesso tempo una migliore interpretabilità e controllo. Autori: John Hewitt, John Thickstun, Christopher D. Manning e Percy Liang.
- Gli androidi ridono delle pecore elettriche? L’umorismo dell’IA
È davvero possibile per i modelli di intelligenza artificiale comprendere l’umorismo? Questo studio si propone di testare tali modelli utilizzando i compiti del concorso di didascalie dei cartoni animati del New Yorker. Gli autori esplorano le capacità sia dei modelli multimodali, che interagiscono direttamente con le immagini dei cartoni animati, sia dei modelli basati esclusivamente sul linguaggio, che dispongono di descrizioni dettagliate. Autori: Jack Hessel, Ana Marasovic, Jena D. Hwang, Lillian Lee, Jeff Da, Rowan Zellers, Robert Mankoff e Yejin Choi.
- Una proposta per radicare i modelli linguistici negli ambienti del mondo reale
Gli attuali modelli linguistici non sono in grado di adattarsi agli ambienti reali. Gli approcci attuali richiedono che i modelli stessi generino piani eseguibili, ma ciò comporta sfide nella grammaticalità, fedeltà e controllabilità. Per affrontare questo problema, i ricercatori hanno introdotto Pangu, un framework che sfrutta il potere discriminante dei modelli linguistici per una comprensione linguistica basata sulla realtà, anziché dipendere dalle loro capacità generative. Autori: Yu Gu, Xiang Deng e Yu Su.
- Minding Language Models: teoria della mente con un tracker di credenze multi-carattere plug-and-play
I modelli di linguaggio neurale su larga scala mancano della base della teoria della mente (ToM), ovvero la capacità di ragionare sugli stati mentali delle altre persone. Gli autori propongono SymbolicToM, un approccio plug-and-play che consente di ragionare sugli stati di credenza di più personaggi utilizzando una rappresentazione simbolica esplicita. Questo metodo tiene traccia delle convinzioni di ciascun personaggio, delle stime delle convinzioni degli altri e del ragionamento di ordine superiore tramite rappresentazioni grafiche, migliorando la precisione e l’interpretabilità nei compiti di comprensione del testo. Autori: Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi e Yulia Tsvetkov.
- The Mechanical Bard: un approccio interpretabile di apprendimento automatico per la generazione di sonetti shakespeariani
In questo studio, i ricercatori esplorano la generazione automatica di sonetti shakespeariani utilizzando la decodifica vincolata per rispettare le metriche, lo schema delle rime, la lunghezza e le convenzioni poetiche. Questo approccio consente di produrre sonetti simili a quelli scritti da autori umani, con un linguaggio lirico, tecniche letterarie e aderenza ai vincoli di genere, come confermato dalla valutazione umana. Autori: Edwin Agnew, Michelle Qiu, Lily Zhu, Sam Wiseman e Cynthia Rudin.
- World-to-Words: acquisizione di un vocabolario aperto e radicato attraverso la mappatura rapida nei modelli di linguaggio visivo
Il collegamento tra il linguaggio e il mondo fisico è fondamentale per comprendere il significato delle parole. Per introdurre questo aspetto nei modelli linguistici, i ricercatori presentano Grounded Open Vocabulary Acquisition (GOVA), che esplora il radicamento e l’incremento nel processo di apprendimento dei linguaggi open-world. Il loro approccio iniziale è il BERT orientato agli oggetti (OctoBERT), un modello linguistico visivamente radicato che viene pre-addestrato su coppie immagine-testo, concentrandosi in particolare sul radicamento. Autori: Ziqiao Ma, Jiayi Pan e Joyce Chai.
- Conoscenza dimenticata: esame dell’amnesia citazionale nella PNL
Hai mai pensato all’età dei documenti che citi? Cosa succede se non possiamo accedere a documenti più vecchi e perdiamo idee importanti? Questo studio esplora domande come queste riguardanti i documenti di elaborazione del linguaggio naturale (NLP) utilizzando dati e grafici. Autori: Janvijay Singh, Mukund Rungta, Diyi Yang e Saif Mohammad.
- Cause e cure per l’interferenza nella traduzione multilingue
Questo studio di ricerca di Meta esplora il fenomeno poco compreso dell’interferenza, che si verifica quando diverse direzioni di traduzione in un modello di traduzione automatica multilingue interagiscono in modo negativo. L’autore principale Uri Shaham ha riconosciuto che “le tendenze dell’interferenza possono essere difficili da misurare” in un tweet del 16 dicembre 2022, riassumendo le domande centrali del documento: “Cosa causa interferenza o sinergia tra le coppie linguistiche nella traduzione multilingue? Abbiamo davvero bisogno di algoritmi specializzati per alleviare le interferenze?”