La nuova tecnica di Facebook aiuta i sistemi di intelligenza artificiale a dimenticare le informazioni irrilevanti
Facebook afferma di aver sviluppato una tecnica di intelligenza artificiale che consente ai modelli di apprendimento automatico di conservare solo determinate informazioni dimenticando il resto. La società afferma che l’operazione Expire-Span può prevedere le informazioni più rilevanti per un’attività in corso, consentendo ai sistemi di intelligenza artificiale di elaborare le informazioni su scale più ampie.
I modelli di intelligenza artificiale memorizzano le informazioni senza distinzione, a differenza della memoria umana. Imitare la capacità di dimenticare (o meno) a livello di software è impegnativo, ma è uno sforzo utile nell’apprendimento automatico. Intuitivamente, se un sistema può ricordare 5 cose, queste dovrebbero idealmente essere davvero importanti. Ma le architetture dei modelli all’avanguardia si concentrano su parti di dati in modo selettivo, portandole a lottare con grandi quantità di informazioni come libri o video e incorrere in costi di elaborazione elevati .
Ciò può contribuire ad altri problemi come l’ apprendimento catastrofico o l’interferenza catastrofica , un fenomeno in cui i sistemi di intelligenza artificiale non riescono a ricordare ciò che hanno imparato da un set di dati di addestramento. Il risultato è che i sistemi devono essere costantemente ricordati della conoscenza che hanno acquisito o rischiano di rimanere “bloccati” con i loro “ricordi” più recenti.
Diverse soluzioni proposte al problema si concentrano sulla compressione. Le informazioni storiche vengono compresse in blocchi più piccoli, consentendo al modello di estendersi ulteriormente nel passato. Lo svantaggio, tuttavia, sono le versioni “sfocate” della memoria che possono influenzare l’accuratezza delle previsioni del modello.
L’alternativa di Facebook è Expire-Span, che dimentica gradualmente le informazioni irrilevanti. Expire_span funziona prevedendo prima quali informazioni sono più importanti per un’attività in corso, in base al contesto. Quindi assegna a ciascuna informazione una data di scadenza in modo tale che quando la data è trascorsa, le informazioni vengono eliminate dal sistema.
Facebook afferma che Expire-Span ottiene risultati importanti su un benchmark per la modellazione del linguaggio a livello di carattere e migliora l’efficienza nei carichi di lavoro a lungo contesto nella modellazione del linguaggio, nell’apprendimento per rinforzo, nella collisione di oggetti e nelle attività algoritmiche.
L’importanza dell’oblio
Si ritiene che senza dimenticare, gli esseri umani non avrebbero praticamente alcuna memoria. Se ricordassimo tutto, probabilmente saremmo inefficienti perché il nostro cervello sarebbe sommerso da ricordi superflui.
La ricerca suggerisce che una forma di dimenticare, l’oblio intrinseco, coinvolge un certo sottoinsieme di cellule nel cervello che degradano le tracce fisiche di tracce di ricordi chiamate engram. Le cellule invertono i cambiamenti strutturali che hanno creato l’engram della memoria, che viene preservato attraverso un processo di consolidamento.
Nuovi ricordi si formano attraverso la neurogenesi, che può complicare la sfida di recuperare i ricordi precedenti. Si teorizza che la neurogenesi danneggi gli engram più vecchi o renda più difficile isolare i vecchi ricordi da quelli più nuovi.
Normalmente, i sistemi di intelligenza artificiale incaricati, ad esempio, di trovare una porta gialla in un corridoio possono memorizzare informazioni come il colore di altre porte, la lunghezza del corridoio e la trama del pavimento. Con Expire-Gan, il modello può dimenticare le informazioni non necessarie elaborate sulla strada per la porta e ricordare solo i pezzi essenziali per l’attività, come il colore della porta ricercata.
Per calcolare le date di scadenza di parole, immagini, fotogrammi video e altre informazioni, Expire-Span determina per quanto tempo le informazioni vengono conservate come memoria ogni volta che viene presentato un nuovo dato. Questo graduale decadimento è la chiave per conservare informazioni importanti senza offuscarle, afferma Facebook. Expire-Span fa essenzialmente previsioni basate sul contesto appreso dai dati e influenzato dai suoi ricordi circostanti.
Ad esempio, se un sistema di intelligenza artificiale si sta addestrando per eseguire un’attività di previsione delle parole, è possibile con Expire-Span insegnare al sistema a ricordare parole rare come i nomi ma dimenticare le parole di riempimento come “il”, “e” e “di”. Osservando il contenuto precedente e pertinente, Expire-Span prevede se qualcosa può essere dimenticato o meno.
Facebook afferma che Expire-Span può scalare fino a decine di migliaia di informazioni e ha la capacità di trattenerne meno di mille. Come passo successivo, il piano è studiare come le tecniche sottostanti potrebbero essere utilizzate per incorporare diversi tipi di ricordi nei sistemi di intelligenza artificiale.
“Sebbene questa sia attualmente una ricerca, potremmo vedere il metodo Expire-Span utilizzato in future applicazioni del mondo reale che potrebbero trarre vantaggio dall’intelligenza artificiale che dimentica le informazioni non essenziali”, ha scritto Facebook in un post sul blog. “In teoria, un giorno, Expire-Span potrebbe consentire alle persone di conservare più facilmente le informazioni che ritengono più importanti per questi tipi di attività e ricordi a lungo termine”.
