Google AI introduce lo studente di lingue unificato per aiutare l’efficienza del modello linguistico
Secondo il blog dell’azienda, l’UL2 inquadra le funzioni oggettive per l’addestramento dei modelli linguistici come attività di denoising, in cui il modello deve recuperare le sottosequenze mancanti di un dato input
Uno degli obiettivi cruciali della ricerca sull’apprendimento automatico (ML) è costruire modelli che comprendano e generino in modo efficiente il linguaggio naturale. Ciò ha un impatto diretto sulla creazione di sistemi intelligenti per le applicazioni quotidiane, in cui i ricercatori hanno l’obiettivo di migliorare la qualità dei modelli linguistici.
I ricercatori di Google AI in ‘ Unifying Language Learning Paradigms ‘, hanno presentato un paradigma di pre-formazione linguistica chiamato Unified Language Learner (UL2) che si concentra sul miglioramento delle prestazioni dei modelli linguistici in set di dati e configurazioni in tutto il mondo.
Alcuni dei paradigmi più comuni per costruire e addestrare modelli linguistici utilizzano architetture di solo decodificatore autoregressivo come PaLM o GPT-3 , in cui il modello viene addestrato per prevedere la parola successiva per una determinata frase. Considerando che altri modelli come T5 , ST-MoE abbracciano architetture encoder-decodificatori basate sulla corruzione. Tuttavia, resta l’opportunità di creare un quadro unificato efficace per i modelli di pre-formazione.
Secondo il blog dell’azienda , l’UL2 forma diverse funzioni obiettivo per addestrare modelli linguistici come compiti di denoising, in cui il modello deve recuperare sottosequenze mancanti di un dato input.
Inoltre, durante il pre-allenamento viene utilizzata una nuova miscela di denoiser, che campiona da una serie di obiettivi diversi, ciascuno con configurazioni diverse. Il team mostra quindi i modelli addestrati utilizzando il framework in una varietà di domini linguistici che include modelli ottimizzati per attività a valle e apprendimento a colpo ridotto basato su prompt. Lo dice
l’IA di Google, “UL2 dimostra prestazioni superiori su una pletora di attività di messa a punto e pochi colpi. Inoltre, dimostriamo che UL2 eccelle nelle attività di generazione, comprensione della lingua, recupero, comprensione di testi lunghi e risposta alle domande. Rilasciamo pubblicamente i checkpoint del nostro modello UL2 più performante con 20 miliardi di parametri, che speriamo ispirino progressi più rapidi nello sviluppo di modelli linguistici migliori nella comunità di apprendimento automatico nel suo insieme”.
