Gli esperti superano i principali ostacoli nella tecnologia AI utilizzando il meccanismo cerebrale
Un gruppo di esperti di intelligenza artificiale (AI) di varie istituzioni ha superato un “ostacolo importante e di lunga data all’aumento delle capacità di intelligenza artificiale”. Il team ha guardato al cervello umano, che è il caso di molti sviluppi dell’IA. Nello specifico, il team si è concentrato sul meccanismo di memoria del cervello umano noto come “replay”.
Gido van de Ven è il primo autore e ricercatore postdottorato. È stato raggiunto dall’investigatore principale Andreas Tolias a Baylor, così come Hava Siegelmann a UMass Amherst.
La ricerca è stata pubblicata su Nature Communications .
Il nuovo metodo
Secondo i ricercatori, hanno messo a punto un nuovo metodo che protegge in modo efficiente le reti neurali profonde dalla “dimenticanza catastrofica”. Quando una rete neurale acquisisce un nuovo apprendimento, può dimenticare ciò che è stato appreso in precedenza.
Questo ostacolo è ciò che impedisce a molti progressi dell’IA.
“Una soluzione sarebbe memorizzare esempi incontrati in precedenza e rivisitarli quando si apprende qualcosa di nuovo. Sebbene tale “ripetizione” o “prova” risolva l’oblio catastrofico, la riqualificazione continua su tutte le attività apprese in precedenza è altamente inefficiente e la quantità di dati che dovrebbero essere archiviati diventa rapidamente ingestibile “, hanno scritto i ricercatori.
Il cervello umano
I ricercatori si sono ispirati al cervello umano, poiché è in grado di costruire informazioni senza dimenticarlo, il che non è il caso delle reti neurali AI. L’attuale sviluppo è stato basato sul lavoro precedente svolto dai ricercatori, inclusi i risultati relativi a un meccanismo nel cervello che si ritiene sia responsabile della prevenzione dell’oblio dei ricordi. Questo meccanismo è la riproduzione dei modelli di attività neurale.
Secondo Siegelmann, lo sviluppo principale deriva dal “riconoscere che la riproduzione nel cervello non memorizza i dati”, ma “il cervello ha generato rappresentazioni di ricordi a un livello elevato e più astratto senza necessità di generare ricordi dettagliati”.
Siegelmann ha preso queste informazioni e si è unito ai suoi colleghi per sviluppare un replay simile a un cervello con intelligenza artificiale, dove non c’erano dati memorizzati. Come nel caso del cervello umano, la rete artificiale prende ciò che ha visto prima per generare rappresentazioni di alto livello.
Il metodo era altamente efficiente, con anche solo poche rappresentazioni generate riprodotte con il risultato di ricordare vecchi ricordi mentre ne venivano appresi di nuovi. Il replay generativo è efficace nel prevenire l’oblio catastrofico e uno dei principali vantaggi è che consente al sistema di generalizzare da una situazione all’altra.
Secondo van de Ven, “Se la nostra rete con replay generativo impara prima a separare i gatti dai cani, e poi a separare gli orsi dalle volpi, racconterà anche i gatti dalle volpi senza essere specificamente addestrati a farlo. E in particolare, più il sistema impara, meglio diventa nell’apprendere nuovi compiti “.
“Proponiamo una nuova variante di replay ispirata al cervello in cui vengono riprodotte rappresentazioni interne o nascoste generate dalle connessioni di feedback modulate dal contesto della rete”, scrive il team. “Il nostro metodo ha ottenuto prestazioni all’avanguardia su stimolanti benchmark di apprendimento continuo senza memorizzare dati e fornisce un nuovo modello per la riproduzione astratta nel cervello”.
“Il nostro metodo fa diverse previsioni interessanti sul modo in cui la riproduzione potrebbe contribuire al consolidamento della memoria nel brian”, continua Van de Ven. “Stiamo già eseguendo un esperimento per testare alcune di queste previsioni”.
