Google ha reso disponibile Guided Vision in Gemini Live, una funzione di assistenza visiva in tempo reale progettata principalmente per persone cieche o ipovedenti ma utilizzabile anche da chi necessita di supporto visivo immediato. La novità è disponibile dal 1° ottobre 2026 sui dispositivi Android con Android 9 o versioni successive, nelle aree geografiche e nelle lingue in cui Gemini Live è supportato. Durante una sessione l’utente può condividere la fotocamera dello smartphone e ricevere descrizioni vocali dell’ambiente, fare domande successive su ciò che viene inquadrato e ottenere indicazioni verbali per posizionare meglio la camera. Se l’inquadratura è troppo alta, troppo ravvicinata o spostata lateralmente, Gemini può per esempio chiedere di inclinare il telefono verso il basso, spostarlo lentamente verso destra oppure allontanarsi, continuando finché non dispone di un contesto visivo sufficiente per rispondere. La funzione era stata anticipata nel September Android Drop del 1° settembre 2026, ma viene ora distribuita agli utenti compatibili.
Guided Vision è stato sviluppato insieme alla comunità dell’accessibilità e in collaborazione con Aira. Per addestrare Gemini Live alla comprensione di situazioni visive reali e conversazionali, Aira ha contribuito all’interpretazione visiva di dati per complessivamente decine di migliaia di ore, mentre oltre 1.000 membri del suo programma Trusted Tester hanno provato il sistema in attività quotidiane e aiutato a perfezionare il modello. Specialisti Aira hanno inoltre collaborato direttamente con i team Google per definire e valutare le misure di sicurezza. I test e la raccolta di feedback hanno coinvolto persone cieche e ipovedenti in diversi Paesi, tra cui India, Brasile, Singapore, Indonesia e Giappone, con l’obiettivo di rendere più naturali sia le descrizioni sia le indicazioni per correggere l’inquadratura, anche nelle interazioni in più lingue.
Tra gli utilizzi previsti rientrano la lettura di testi difficili da vedere, come etichette nutrizionali molto piccole, programmi e manopole degli elettrodomestici oppure menu stampati in ambienti poco illuminati; la ricerca di oggetti, per esempio un auricolare caduto a terra o un barattolo all’interno di una dispensa affollata; e il riconoscimento di dettagli come colori, motivi e forme. L’utente può quindi chiedere se una camicia a righe si abbina a un determinato paio di pantaloni, identificare il colore di una giacca oppure ottenere una descrizione generale di una stanza sconosciuta, della disposizione degli oggetti su un tavolo o dell’ambiente circostante. Google indica inoltre che questo tipo di assistenza può risultare utile anche ad anziani, persone con basse competenze di lettura o utenti che devono semplicemente leggere caratteri molto piccoli o poco illuminati.
Guided Vision può essere avviato direttamente dall’app Gemini, tramite le scorciatoie di accessibilità di Android oppure attraverso TalkBack. Nell’app Gemini è necessario attivare l’opzione “Use Guided Vision in Live”, aprire Gemini Live e condividere la fotocamera; dalle impostazioni Android, nella sezione Accessibility dedicata all’assistenza visiva, può invece essere associato al pulsante mobile di accessibilità, a uno swipe con due dita o alla pressione simultanea dei due tasti del volume. Gli utenti di TalkBack possono richiamare il relativo menu con un tocco a tre dita e selezionare Guided Vision. Google precisa però che la funzione può commettere errori e non deve essere considerata un dispositivo medico, un ausilio per la mobilità o un sostituto del bastone bianco, né deve essere utilizzata per navigazione, rilevamento di ostacoli o spostamenti in sicurezza. Per queste attività restano necessari gli strumenti e le pratiche di mobilità normalmente utilizzati; per accedere alla funzione è inoltre consigliato aggiornare sia l’app Gemini sia il sistema Android alle versioni più recenti.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)