OpenAI svela il modello in grado di riassumere libri di qualsiasi lunghezza
OpenAI ha sviluppato un modello di intelligenza artificiale in grado di riassumere libri di lunghezza arbitraria. Una versione perfezionata del GPT-3 del laboratorio di ricerca , il modello funziona prima riassumendo piccole sezioni di un libro e poi riassumendo quei riassunti in riepiloghi di livello superiore, seguendo un paradigma che OpenAI chiama “scomposizione ricorsiva del compito”.
Riassumere documenti lunghi potrebbe essere prezioso nell’azienda, in particolare per i settori che richiedono molta documentazione come lo sviluppo di software. Un sondaggio di SearchYourCloud ha rilevato che i lavoratori impiegano fino a otto ricerche per trovare il documento giusto e McKinsey riferisce che i dipendenti trascorrono 1,8 ore al giorno, in media 9,3 ore alla settimana, alla ricerca e alla raccolta di informazioni relative al lavoro.
“OpenAI ritiene che questa sia una ‘ricetta’ efficace che può essere utilizzata per aiutare gli esseri umani a supervisionare molte altre attività”, ha detto un portavoce a VentureBeat via e-mail. “Una soluzione scalabile al problema dell’allineamento deve lavorare su attività che sono difficili o richiedono tempo da valutare per gli esseri umani”.
Riepilogo basato sull’intelligenza artificiale
OpenAI è tutt’altro che il primo ad applicare l’IA al problema della sintesi. Startup come Primer utilizzano tecniche di apprendimento automatico per analizzare e raccogliere un gran numero di documenti in diverse lingue. Google ha studiato metodi di riepilogo che possono generare sintesi astratte dei paragrafi – come ha Microsoft. E secondo quanto riferito, Facebook sta sviluppando uno strumento di intelligenza artificiale che riassume gli articoli di notizie in modo che gli utenti non debbano leggerli.
Il nuovo modello di OpenAI si basa sulla ricerca precedente dell’azienda, che ha scoperto che la formazione di un modello con l’apprendimento per rinforzo dal feedback umano ha aiutato ad allineare i riepiloghi del modello con le preferenze delle persone su post e articoli brevi. L’apprendimento per rinforzo comporta l’addestramento di un sistema per eseguire un’attività, ad esempio riassumere il testo, premiando i comportamenti desiderati e/o punendo quelli indesiderati.
Per creare il modello, OpenAI ha combinato l’apprendimento per rinforzo con la scomposizione ricorsiva del compito, che suddivide proceduralmente un compito difficile (ad esempio, riassumere un lungo pezzo di testo) in più semplici e individuali (ad esempio, riassumere diversi pezzi più brevi). Questa scomposizione consente agli umani di valutare rapidamente i riepiloghi del modello utilizzando riassunti di parti più piccole di libri. Inoltre, consente al modello di riassumere libri di qualsiasi lunghezza, da decine di pagine a centinaia o migliaia.
Sopra: OpenAI afferma che il suo nuovo modello, una versione perfezionata di GPT-3, può riassumere libri come Alice nel Paese delle Meraviglie.
Credito immagine: OpenAI
OpenAI ha addestrato il modello su un sottoinsieme dei libri nel set di dati di addestramento di GPT-3, che erano per lo più di tipo fiction e contenevano in media oltre 100.000 parole. Per valutare il modello, i ricercatori del laboratorio hanno preso i 40 libri più popolari pubblicati nel 2020 (secondo Goodreads) e hanno incaricato due persone di leggere ogni libro e scrivere un riassunto, quindi di valutare i riassunti sia del modello che l’uno dell’altro.
Mentre il modello ha generato con successo riepiloghi “a livello di libro” contenenti molte delle informazioni importanti, a volte ha anche generato dichiarazioni imprecise a causa della mancanza di contesto, ammette OpenAI in un documento . Inoltre, i riassunti del modello spesso leggono più come un elenco di eventi dal libro piuttosto che un riassunto coerente, rivelando i limiti della scomposizione dei compiti. La scomposizione delle attività presuppone che parti separate di un’attività possano essere completate in modo indipendente, una regola che potrebbe non essere vera per il riepilogo dei libri. Ad esempio, potrebbe essere difficile cogliere i casi in cui i dettagli precedenti nel libro si rivelano importanti solo in seguito, come è vero per i libri di mistero.
“Questo lavoro fa parte della nostra ricerca in corso sull’allineamento di sistemi avanzati di intelligenza artificiale, che è la chiave della nostra missione”, hanno scritto i ricercatori di OpenAI Jeffrey Wu, Ryan Lowe e Jan Leike in un post sul blog. “Il nostro progresso sulla sintesi del libro è il primo lavoro empirico su larga scala sulle tecniche di allineamento in scala. Andando avanti, stiamo ricercando modi migliori per aiutare gli esseri umani a valutare il comportamento del modello, con l’obiettivo di trovare tecniche che si adattino all’allineamento dell’intelligenza generale artificiale”.
OpenAI non ha fornito il codice sorgente o il set di dati di training per il modello. Abbiamo contattato l’azienda per vedere quando, o se, intende renderli pubblici.
