Meta AI lancia un modello open source per rendere le voci di Wikipedia più accurate
Questo è un potente esempio di strumenti di apprendimento automatico che possono aiutare a scalare il lavoro dei volontari raccomandando in modo efficiente citazioni e fonti accurate.
Meta AI ha sviluppato il primo modello in grado di verificare automaticamente centinaia di migliaia di citazioni. Formato su oltre 134 milioni di pagine Web pubbliche, il modello open source può verificare se le citazioni supportano le affermazioni corrispondenti.
Evidenzia le citazioni discutibili, consentendo agli editori umani di valutare i casi che hanno maggiori probabilità di essere viziati senza dover passare al setaccio migliaia di affermazioni citate correttamente. Se una citazione appare irrilevante, il modello consiglierà una fonte più pertinente, indicando anche un passaggio specifico che supporta l’affermazione.
“Questo è un potente esempio di strumenti di apprendimento automatico che possono aiutare a scalare il lavoro dei volontari raccomandando in modo efficiente citazioni e fonti accurate. Il miglioramento di questi processi ci consentirà di attirare nuovi editor su Wikipedia e fornire informazioni migliori e più affidabili a miliardi di persone in tutto il mondo. Non vedo l’ora di continui miglioramenti in quest’area, soprattutto perché gli strumenti di apprendimento automatico sono in grado di fornire citazioni più personalizzate e opzioni multilingue per servire le nostre comunità Wikimedia in più di 300 lingue”, ha affermato Shani Evenstein Sigalov , docente e ricercatore presso l’Università di Tel Aviv e vicepresidente del consiglio di fondazione della Wikimedia Foundation.
Imparare tutto Wikipedia
A settembre 2020, Meta ha rilasciato un modello di intelligenza artificiale che integra il recupero e la verifica delle informazioni . Da allora, l’azienda ha lavorato all’addestramento delle reti neurali per apprendere rappresentazioni più sfumate del linguaggio in modo che possano trovare materiale sorgente pertinente in un pool di dati delle dimensioni di Internet.
Utilizzando tecniche di comprensione del linguaggio naturale (NLU), il sistema stima la probabilità che un’affermazione possa essere dedotta da una fonte. Per determinare se un’affermazione supporta o contraddice un’altra, i modelli creano e confrontano rappresentazioni matematiche dei significati di intere affermazioni durante una ricerca.
Il nuovo set di dati di 134 milioni di pagine Web funge da uno dei componenti principali del sistema: Sphere , una libreria di recupero su scala Web open source. Meta ha alimentato gli algoritmi di 4 milioni di affermazioni di Wikipedia, insegnando loro a indicare una singola fonte da un vasto pool di pagine Web per convalidare ogni affermazione. Poiché le pagine web possono contenere lunghi tratti di testo, i modelli valutano il contenuto in blocchi e prendono in considerazione solo il passaggio più rilevante quando decidono se consigliare un URL. Questi indici predefiniti, che catalogano 40 volte più contenuti rispetto ad altri indici di Wikipedia, saranno inclusi in Sphere.
Gli indici instradano le potenziali fonti attraverso un modello di classificazione delle prove che confronta il nuovo testo con la citazione originale. Il modello classifica la fonte citata e le alternative recuperate in base alla probabilità che supportino l’affermazione utilizzando una comprensione del linguaggio a grana fine. Nel mondo reale, il modello consiglierà gli URL più rilevanti come potenziali citazioni che un editore umano potrà rivedere e approvare.
Dare un senso al mondo reale
L’obiettivo finale di Meta è creare una piattaforma che aiuti gli editori di Wikipedia a identificare sistematicamente i problemi di citazione e correggere rapidamente la citazione o correggere il contenuto dell’articolo corrispondente su larga scala.
Questo modello potrebbe anche guidare la strada a risultati migliori su molte altre attività, come l’inferenza classica del linguaggio naturale, il recupero nei sistemi di risposta alle domande e l’apprendimento a colpo singolo.
