Apple ha fatto un’impressione significativa nel mondo con l’annuncio del suo primo “computer spaziale” Vision Pro. Oltre alle specifiche tecniche e all’ingegneria elegante del dispositivo, un aspetto fondamentale è passato inosservato: l’interfaccia di controllo innovativa.
Durante la demo del prodotto, molti utenti hanno dimostrato di controllare il dispositivo utilizzando semplicemente le mani, grazie ai sensori di profondità posti nella parte inferiore del dispositivo. Tuttavia, Apple ha svelato che il metodo principale di interazione sarebbe stato attraverso il controllo oculare.
All’interno dell’auricolare, è presente un array di telecamere in grado di rilevare con precisione i movimenti degli occhi dell’utente, determinando l’input desiderato. Per garantire un funzionamento coerente e preciso del sistema, Apple ha impiegato algoritmi di apprendimento automatico, gettando così le basi per future interfacce cerebrali computerizzate (BCI) e rendendo Vision Pro di Apple un prototipo di BCI.
Le interfacce computer-cervello sono state a lungo considerate un sogno di fantascienza, con Neuralink di Elon Musk che rappresenta l’esempio più noto. Neuralink mira a consentire la comunicazione tra il cervello umano e il software tramite l’impianto di un chip chirurgico nel cervello, consentendo di convertire i pensieri in comandi. Tuttavia, sembra che Apple abbia trovato un modo non invasivo per rilevare i pensieri umani combinando soluzioni neurotecnologiche con algoritmi di machine learning.
Esaminando i brevetti depositati da Apple per l’auricolare Vision Pro, emerge un brevetto chiamato ‘biofeedback basato sullo sguardo’. Questo brevetto, depositato in Europa, si concentra sulla valutazione dello stato di attenzione dell’utente durante la visualizzazione di specifici tipi di contenuto. Secondo Apple, ciò può essere utilizzato per tracciare il biofeedback degli utenti nelle esperienze di realtà estesa (XR), arricchendo così tali esperienze.
Un esempio fornito nel brevetto illustra come sia possibile prevedere l’interazione desiderata dagli utenti in base alla dilatazione delle loro pupille. Inoltre, il colore degli elementi dell’interfaccia utente può variare a seconda del colore che provoca una risposta pupillare migliore, garantendo un maggior grado di successo del sistema. Sono stati depositati brevetti anche per un sistema in grado di determinare lo stato dell’utente rilevando l’effetto dei cambiamenti di luminosità sulle pupille. In questo modo, il sistema può determinare se l’utente è distratto e, in tal caso, aumentare la luminosità di un elemento specifico dell’interfaccia utente o del contenuto per mantenere l’attenzione dell’utente.
Gli occhi sono solo uno dei metodi che i ricercatori di Apple hanno scoperto per determinare lo stato mentale degli utenti. È stato depositato anche un brevetto per la “valutazione dello stato di attenzione basata sul suono”, che può valutare la risposta degli utenti a un suono per determinarne lo stato mentale. I sensori possono inoltre utilizzare altre misurazioni come il battito cardiaco, l’attività muscolare, la pressione sanguigna e l’attività cerebrale elettrica per fornire ulteriori informazioni.
Attraverso i brevetti, possiamo intuire la forma dell’interfaccia utente di Vision Pro. I sistemi di valutazione del biofeedback potrebbero lavorare in tandem per fornire all’auricolare informazioni sullo stato mentale dell’utente, consentendo al computer di ottenere una comprensione più completa di ciò che l’utente “pensa” o “sente” e adattando di conseguenza il contenuto.
L’inventore principale di questi brevetti è Sterling Crispin, un ingegnere del software che lavora sulla neurotecnologia per Vision Pro di Apple. In un tweet, Crispin ha approfondito questa interfaccia affermando: “Altri metodi per inferire lo stato cognitivo coinvolgono il rapido lampeggiare di immagini o suoni che l’utente potrebbe non percepire, e quindi la misurazione della sua reazione ad essi… È un’interfaccia grezza del cervello-computer attraverso gli occhi, ma molto interessante.”
Come affermato da Crispin, questo metodo di interazione è preferibile rispetto a un intervento chirurgico invasivo al cervello. I problemi che Musk ha dovuto affrontare con Neuralink, come il gran numero di animali sacrificati e le difficoltà nell’esecuzione di test sugli esseri umani, evidenziano quanto lavoro sia ancora necessario per un vero BCI.
La soluzione di Vision Pro non solo rappresenta una soluzione distintiva di Apple, ma anche un precursore di come interagiremo con i computer in futuro. L’intelligenza artificiale (AI) e l’apprendimento automatico (ML) sono i principali fattori che stanno riducendo la distanza tra i cervelli organici e i processori inorganici.
Ad esempio, consideriamo gli input vocali. Ciò che un tempo rappresentava una sfida complessa richiedente risorse di elaborazione potenti, ora è possibile anche su dispositivi portatili come i telefoni cellulari grazie alle loro capacità di elaborazione on-device. Questo progresso è stato reso possibile anche grazie agli algoritmi leggeri di sintesi vocale, che continuano a migliorare nel tempo.
Unendo algoritmi di apprendimento automatico con sensori e scanner altamente avanzati, Vision Pro di Apple è in grado di leggere lo stato mentale degli utenti, definendolo come un’interfaccia del cervello del computer. Analogamente a come gli algoritmi di riconoscimento vocale hanno rivoluzionato le interfacce vocali, sembra che la ricerca di Crispin e Apple abbia il potenziale per rivoluzionare le interfacce visive. Inoltre, il futuro di questa tecnologia potrebbe diventare il modo principale di interagire con i computer, rendendo tastiere e mouse obsoleti.