Il sistema AI può riconoscere accuratamente i gesti delle mani
Un nuovo sistema di intelligenza artificiale (AI) in grado di riconoscere i gesti delle mani è stato sviluppato dagli scienziati della Nanyang Technological University, Singapore (NTU Singapore). La tecnologia funziona combinando l’elettronica simile alla pelle con la visione artificiale .
Lo sviluppo di sistemi di intelligenza artificiale per riconoscere i gesti delle mani umane è in corso da circa 10 anni ed è attualmente utilizzato nei robot chirurgici, nelle apparecchiature di monitoraggio della salute e nei sistemi di gioco.
I sistemi di riconoscimento dei gesti AI iniziali erano solo visivi e gli input dei sensori indossabili sono stati integrati per migliorarli. Questo si chiama “fusione dei dati”. Una delle capacità di rilevamento è chiamata “somatosensoriale” e i sensori indossabili possono ricrearla.
La precisione del riconoscimento dei gesti è ancora difficile da ottenere a causa della bassa qualità dei dati provenienti dai sensori indossabili. Ciò accade a causa dell’ingombro e dello scarso contatto con l’utente, nonché degli effetti degli oggetti visivamente bloccati e della scarsa illuminazione.
Ulteriori sfide derivano dall’integrazione di dati visivi e sensoriali, poiché i set di dati non corrispondenti devono essere elaborati separatamente e alla fine uniti. Questo processo è inefficiente e porta a tempi di risposta più lenti.
Il team della NTU ha escogitato alcuni modi per superare queste sfide, inclusa la creazione di un sistema di fusione dei dati “bioispirato” che si basa su sensori di deformazione estensibili simili alla pelle realizzati con nanotubi di carbonio a parete singola. Il team ha anche fatto affidamento sull’intelligenza artificiale come un modo per rappresentare il modo in cui i sensi della pelle e la vista vengono elaborati insieme nel cervello.
Tre approcci di rete neurale sono stati combinati in un unico sistema per sviluppare il sistema di intelligenza artificiale. I tre tipi di reti neurali erano: una rete neurale convoluzionale , una rete neurale sparsa e una rete neurale multistrato.
Combinando questi tre, il team ha potuto sviluppare un sistema in grado di riconoscere più accuratamente i gesti umani rispetto ad altri metodi.
Il professor Chen Xiaodon è l’autore principale dello studio. Proviene dalla School of Materials Science and Engineering presso NTU.
“La nostra architettura di fusione dei dati ha le sue caratteristiche bio-ispirate uniche che includono un sistema creato dall’uomo che assomiglia alla gerarchia della fusione somatosensoriale-visiva nel cervello. Riteniamo che tali caratteristiche rendano la nostra architettura unica rispetto agli approcci esistenti “.
Chen è anche Direttore dell’Innovative Center for Flexible Devices (iFLEX) presso NTU.
“Rispetto ai sensori rigidi indossabili che non formano un contatto sufficientemente intimo con l’utente per una raccolta dati accurata, la nostra innovazione utilizza sensori di deformazione estensibili che si attaccano comodamente alla pelle umana. Ciò consente un’acquisizione del segnale di alta qualità, fondamentale per le attività di riconoscimento di alta precisione “, ha affermato Chen.
I risultati del team composto da scienziati della NTU Singapore e dell’Università della tecnologia di Sydney (UTS) sono stati pubblicati a giugno sulla rivista scientifica Nature Electronics .
Testare il sistema
Il team ha testato il sistema AI bio-ispirato con un robot controllato tramite gesti delle mani. Il robot è stato guidato attraverso un labirinto ei risultati hanno dimostrato che il sistema di riconoscimento dei gesti della mano AI era in grado di guidare il robot attraverso il labirinto senza errori. Questo rispetto a un sistema di riconoscimento basato sulla visualizzazione, che ha commesso sei errori nello stesso labirinto.
Test in condizioni sfavorevoli, come rumore e cattive condizioni di illuminazione, il sistema AI ha comunque mantenuto un’elevata precisione. Il tasso di precisione del riconoscimento ha superato il 96,7%.
Il dottor Wang Ming della School of Materials Science & Engineering della NTU Singapore è stato il primo autore dello studio.
“Il segreto dietro l’elevata accuratezza della nostra architettura risiede nel fatto che le informazioni visive e somatosensoriali possono interagire e completarsi a vicenda in una fase iniziale prima di eseguire un’interpretazione complessa”, ha detto Ming. “Di conseguenza, il sistema può raccogliere razionalmente informazioni coerenti con dati meno ridondanti e meno ambiguità percettiva, con conseguente maggiore precisione.”
Secondo un punto di vista indipendente del professor Markus Antonietti, direttore del Max Planck Institute of Colloids and Interfaces in Germania, “I risultati di questo documento ci fanno un altro passo avanti verso un mondo più intelligente e più supportato dalle macchine. Proprio come l’invenzione dello smartphone che ha rivoluzionato la società, questo lavoro ci fa sperare di poter un giorno controllare fisicamente tutto il nostro mondo circostante con grande affidabilità e precisione attraverso un gesto. “
“Esistono semplicemente infinite applicazioni per tale tecnologia sul mercato per supportare questo futuro. Ad esempio, da un robot che controlla a distanza i luoghi di lavoro intelligenti agli esoscheletri per gli anziani “.
Il team di ricerca ora lavorerà su un sistema VR e AR basato sul sistema AI bio-ispirato
