La NLP ottiene una spinta quantica
QSANN è efficace e scalabile su set di dati più grandi e può essere implementato su dispositivi quantistici a breve termine.
Il calcolo quantistico ha molte applicazioni in vari campi dell’intelligenza artificiale, inclusa l’elaborazione del linguaggio naturale (NLP). A causa della pesante preelaborazione sintattica e dell’architettura di rete dipendente dalla sintassi, Quantum NLP (QNLP) è inefficace su enormi set di dati del mondo reale. I ricercatori di Baidu hanno proposto una semplice architettura di rete chiamata rete neurale di auto-attenzione quantistica (QSANN) per affrontare tali limitazioni.
I ricercatori hanno introdotto il meccanismo dell’auto-attenzione nelle reti neurali quantistiche e quindi hanno utilizzato un’auto-attenzione quantistica proiettata gaussiana come una versione quantistica sensata dell’auto-attenzione.
QSANN è scalabile su set di dati più grandi e può essere distribuito su dispositivi quantistici a breve termine.
QNN per la classificazione del testo
La classificazione del testo è uno dei compiti più fondamentali nell’elaborazione del linguaggio naturale. Il processo consiste nel prendere una determinata sequenza di testo e assegnarla alle rispettive categorie predefinite. In questo articolo, i ricercatori del Baidu Research Institute e dell’Università di Tecnologia di Sydney hanno preso l’analisi del sentimento e la classificazione degli argomenti come esempi di classificazione del testo. L’approccio standard nell’apprendimento automatico consiste nell’addestrare un modello con un insieme di sequenze pre-etichettate ( apprendimento supervisionato ). Quindi, quando il modello incontra una nuova sequenza, sarà in grado di prevedere la categoria della nuova sequenza in base agli apprendimenti dal set di dati di addestramento.
Livello di auto-attenzione quantistica
Il QSANN ha utilizzato un metodo di auto-attenzione quantistica proiettata gaussiana per superare la natura unitaria dei circuiti quantistici. QSANN ha superato il benchmark CSANN sui set di dati Yelp, IMDb e Amazon nelle valutazioni, ottenendo un’accuratezza del 100% sulla sfida MC.
Alcuni degli approcci sofisticati, come la codifica posizionale e l’attenzione multi-testa, possono essere utilizzati in futuro anche nelle reti neurali quantistiche per modelli generativi e altri compiti più complessi.
Risultati dell’esperimento
I ricercatori hanno testato il modello su set di dati pubblici . Tuttavia, in questi esperimenti, la parte quantistica è stata realizzata tramite la simulazione classica. Le prestazioni di QSANN sono state testate rispetto a 2 modelli:
Il modello quantistico basato sull’analisi sintattica : questo modello è stato testato su due semplici compiti, cioè la classificazione media e la valutazione della clausola relativa.
La classica rete neurale di auto-attenzione (CSANN) : questo modello è stato testato su tre set di dati di analisi del sentimento pubblico, ovvero Amazon, Yelp e IMDb.
La fattibilità dell’auto-attenzione quantistica GPQSA è dimostrata attraverso la visualizzazione dei coefficienti di auto-attenzione. I ricercatori hanno anche mostrato la robustezza di QSANN nei canali quantistici rumorosi. Tutte queste simulazioni e cicli di ottimizzazione sono implementati tramite Paddle Quantum2 sulla piattaforma PaddlePaddle Deep Learning
Nell’attività MC, QSANN ha superato DisCoCat con una precisione del 100 percento utilizzando solo 25 parametri (18 nella parte query-key-value e 7 nella parte completamente connessa). L’attività RP ha dimostrato risultati simili, sebbene un tasso di accuratezza del test inferiore a causa di un’enorme distorsione tra l’addestramento e i set di test.
In Yelp, IMDB e set di dati Amazon, poiché non sono stati testati prima con algoritmi quantistici, QSANN ha stabilito il benchmark superando sia il metodo ingenuo che CSANN utilizzando solo 49 parametri per Yelp e IMDB e 61 per Amazon.
I risultati del test dimostrano fortemente il vasto potenziale per l’applicazione di QSANN per la classificazione del testo binario.
QNN contro CNN
Le reti neurali quantistiche offrono possibilità senza precedenti nella risoluzione di problemi al di là delle capacità delle reti neurali classiche. Rispetto agli approcci tradizionali, la rete neurale quantistica mostra i seguenti vantaggi :
Capacità di memoria esponenzialmente maggiore
Prestazioni più elevate utilizzando un numero inferiore di parametri
Processo di apprendimento più veloce
Eliminazione dell’oblio catastrofico dovuto all’assenza di schemi
Interferenza
Soluzione di rete a strato singolo di problemi linearmente inseparabili
Velocità di elaborazione (10 10 bit/s)
Piccola scala (10 11 neuroni/mm 3 )
Maggiore stabilità e affidabilità
L’elaborazione del linguaggio naturale quantistico (QNLP), si sforza di sviluppare modelli NLP nativi quantistici che possono essere implementati su dispositivi quantistici. La maggior parte delle proposte QNLP manca di scalabilità poiché si basano sull’analisi sintattica. Inoltre, i metodi basati sulla sintassi utilizzano diversi PQC per frasi con diverse strutture sintattiche e quindi non sono sufficientemente flessibili per elaborare un linguaggio umano complesso
Ora, le prestazioni di QSANN su varie attività di NLP come la modellazione del linguaggio, la traduzione automatica, la risposta alle domande e la classificazione del testo sono una testimonianza dell’enorme potenziale dei modelli quantistici.
