Google ha introdotto nella versione macOS dell’app Gemini la funzione “Speak to Window”, che permette di utilizzare l’intelligenza artificiale tramite la voce senza abbandonare l’applicazione in cui si sta lavorando. Il sistema può trascrivere testi, modificare documenti, sintetizzare contenuti e generare immagini, inserendo il risultato direttamente nel punto in cui si trova il cursore. La distribuzione è globale, ma inizialmente supporta soltanto l’inglese e richiede un Mac con chip Apple Silicon e macOS Sequoia 15 o versioni successive.
La funzione si attiva tenendo premuto il tasto Fn mentre si parla. Quando il tasto viene rilasciato, Gemini elabora la richiesta e inserisce il testo prodotto nell’email, nel documento, nel browser o nel servizio di messaggistica attualmente aperto. Premendo Fn due volte è possibile avviare una registrazione senza dover continuare a tenere premuto il tasto, una modalità pensata per dettature e interventi più lunghi.
Nella modalità di dettatura, Gemini non si limita a convertire la voce in testo. Il sistema elimina esitazioni, ripetizioni ed espressioni riempitive, tiene conto delle correzioni pronunciate durante la registrazione e organizza automaticamente il risultato in paragrafi o punti quando necessario. L’obiettivo è produrre un testo già utilizzabile, riducendo il lavoro di revisione successivo.
Attivando la modalità di ragionamento, Gemini può analizzare anche il contenuto della finestra attiva o dei file selezionati. L’utente può chiedere di riscrivere un’email con un tono più formale, riassumere un paragrafo, trasformare appunti in un documento strutturato oppure combinare informazioni provenienti da più PDF, immagini e documenti per preparare una sintesi o una nuova bozza.
Le capacità multimodali comprendono inoltre la generazione e la modifica di immagini attraverso comandi vocali. Il risultato può essere inserito direttamente nel documento aperto, mentre dai file locali selezionati Gemini può estrarre informazioni utili alla richiesta. Il sistema distingue automaticamente una semplice dettatura da un’operazione che richiede la comprensione dello schermo e l’elaborazione del contenuto.
L’accesso ai dati locali è limitato agli elementi scelti o condivisi esplicitamente dall’utente. Per leggere l’intero contenuto di una pagina del browser o accedere alle cartelle condivise è invece necessario concedere all’app i permessi di Accessibilità previsti da macOS.
L’aggiornamento amplia le funzioni dell’app nativa per Mac pubblicata ad aprile. In precedenza Gemini veniva richiamato attraverso la combinazione Option+Spazio e utilizzato in una finestra separata; con Speak to Window può ora intervenire direttamente nell’applicazione attiva e trasferire immediatamente il risultato nel flusso di lavoro dell’utente.