I ricercatori della UC San Diego hanno scoperto che i periodi offline durante l’allenamento mitigavano la “dimenticanza catastrofica” nei sistemi informatici, imitando i benefici del sonno per il cervello umano
A seconda dell’età, gli esseri umani hanno bisogno di 7-13 ore di sonno ogni 24 ore. Durante questo periodo, succedono molte cose: flusso e riflusso della frequenza cardiaca, della respirazione e del metabolismo; i livelli ormonali si adattano; il corpo si rilassa. Non tanto nel cervello.
“Il cervello è molto impegnato quando dormiamo, ripetendo ciò che abbiamo imparato durante il giorno”, ha detto Maxim Bazhenov, PhD, professore di medicina e ricercatore del sonno presso la University of California San Diego School of Medicine. “Il sonno aiuta a riorganizzare i ricordi e li presenta nel modo più efficiente.”
In precedenti lavori pubblicati, Bazhenov e colleghi hanno riportato come il sonno costruisca la memoria razionale , la capacità di ricordare associazioni arbitrarie o indirette tra oggetti, persone o eventi, e protegga dall’oblio dei vecchi ricordi .
Le reti neurali artificiali sfruttano l’architettura del cervello umano per migliorare numerose tecnologie e sistemi, dalla scienza e medicina di base alla finanza e ai social media. In un certo senso, hanno raggiunto prestazioni sovrumane, come la velocità computazionale, ma falliscono in un aspetto chiave: quando le reti neurali artificiali apprendono in sequenza, le nuove informazioni sovrascrivono le informazioni precedenti, un fenomeno chiamato oblio catastrofico.
“Al contrario, il cervello umano impara continuamente e incorpora nuovi dati nella conoscenza esistente”, ha detto Bazhenov, “e in genere apprende meglio quando il nuovo allenamento è intercalato con periodi di sonno per il consolidamento della memoria”.
Scrivendo nel numero del 18 novembre 2022 di PLOS Computational Biology, l’autore senior Bazhenov e colleghi discutono di come i modelli biologici possono aiutare a mitigare la minaccia dell’oblio catastrofico nelle reti neurali artificiali, aumentandone l’utilità in uno spettro di interessi di ricerca.
Gli scienziati hanno utilizzato reti neurali a spillo che imitano artificialmente i sistemi neurali naturali: invece di essere comunicate continuamente, le informazioni vengono trasmesse come eventi discreti (picchi) in determinati momenti.
Hanno scoperto che quando le reti di spiking venivano addestrate su una nuova attività, ma con occasionali periodi offline che imitavano il sonno, l’oblio catastrofico veniva mitigato. Come il cervello umano, hanno affermato gli autori dello studio, il “sonno” per le reti ha permesso loro di riprodurre vecchi ricordi senza utilizzare esplicitamente i vecchi dati di allenamento.
I ricordi sono rappresentati nel cervello umano da modelli di peso sinaptico – la forza o l’ampiezza di una connessione tra due neuroni.
“Quando apprendiamo nuove informazioni”, ha detto Bazhenov, “i neuroni si attivano in un ordine specifico e questo aumenta le sinapsi tra di loro. Durante il sonno, i modelli di picchi appresi durante il nostro stato di veglia si ripetono spontaneamente. Si chiama riattivazione o replay.
“La plasticità sinaptica, la capacità di essere alterata o modellata, è ancora presente durante il sonno e può migliorare ulteriormente i modelli di peso sinaptico che rappresentano la memoria, aiutando a prevenire l’oblio o a consentire il trasferimento di conoscenze da compiti vecchi a nuovi”.
Quando Bazhenov e colleghi hanno applicato questo approccio alle reti neurali artificiali, hanno scoperto che aiutava le reti a evitare l’oblio catastrofico.
“Significava che queste reti potevano imparare continuamente, come gli esseri umani o gli animali. Capire come il cervello umano elabora le informazioni durante il sonno può aiutare ad aumentare la memoria nei soggetti umani. L’aumento dei ritmi del sonno può portare a una memoria migliore.
“In altri progetti, utilizziamo modelli computerizzati per sviluppare strategie ottimali per applicare la stimolazione durante il sonno, come i toni uditivi, che migliorano i ritmi del sonno e migliorano l’apprendimento. Questo può essere particolarmente importante quando la memoria non è ottimale, come quando la memoria diminuisce con l’invecchiamento o in alcune condizioni come il morbo di Alzheimer”.
I coautori includono: Ryan Golden e Jean Erik Delanois, entrambi alla UC San Diego; e Pavel Sanda, Istituto di informatica dell’Accademia ceca delle scienze.
