Ricercatori della Carnegie Mellon University (CMU), della San Diego State University (SDSU) e della Stanford University hanno pubblicato un nuovo studio intitolato “L’attenzione adattativa gaussiana è tutto ciò di cui hai bisogno: rappresentazioni contestuali robuste attraverso modalità multiple”. L’obiettivo dello studio è migliorare le rappresentazioni contestuali in diversi ambiti come discorso, testo e visione.
Il cuore della ricerca è rappresentato dal meccanismo di attenzione adattativa gaussiana multitesta (GAAM) e dal trasformatore adattivo gaussiano (GAT). Questi sono stati sviluppati per rafforzare le rappresentazioni contestuali. GAAM, in particolare, introduce parametri di media e varianza apprendibili nel suo meccanismo di attenzione, portando a miglioramenti significativi nelle prestazioni del modello.
GAAM e GAT insieme stabiliscono un quadro di attenzione probabilistica completamente apprendibile. Inserendo parametri di media e varianza apprendibili, i ricercatori hanno permesso al modello di ricalibrare dinamicamente l’importanza delle caratteristiche, migliorando notevolmente la sua capacità.
Un’altra innovazione è l’Introduzione dell’Importance Factor (IF), una nuova metrica basata sull’apprendimento che rende i modelli basati su GAAM più spiegabili e interpretabili, valutando il significato delle caratteristiche.
I test su diverse modalità hanno confermato l’efficacia di GAAM all’interno del GAT, dimostrando la sua superiorità nel gestire dati altamente variabili rispetto ai metodi tradizionali di attenzione. Inoltre, il documento evidenzia l’integrazione di GAAM con la tecnica Grouped Query Attention, mostrando che è compatibile con i modelli pre-addestrati (PTM) esistenti. Questa integrazione migliora le prestazioni senza aumentare significativamente il numero di parametri apprendibili.
In sintesi, lo studio dei ricercatori di CMU, SDSU e Stanford presenta importanti progressi nella tecnologia di attenzione AI, con applicazioni potenziali in diverse aree come il linguaggio, la visione e l’audio.