Havells ha introdotto nell’app Havells One una nuova modalità di controllo vocale basata su agenti AI che consente di gestire gli elettrodomestici connessi utilizzando il linguaggio naturale, senza dover ricordare formule o comandi prestabiliti. La funzione è disponibile per l’intera base di 2,67 milioni di utenti di Havells One e supporta otto lingue: inglese, hindi, tamil, telugu, bengalese, kannada, gujarati e malayalam. Il sistema è stato sviluppato dal Center for Research & Innovation di Havells e combina i modelli di speech-to-text e text-to-speech in streaming di ElevenLabs con l’intelligenza conversazionale proprietaria dell’azienda e con gli agenti incaricati di tradurre le richieste dell’utente in azioni sui dispositivi.
La precedente soluzione vocale di Havells era disponibile soltanto in inglese e hindi su alcuni prodotti e funzionava attraverso comandi specifici che l’utente doveva formulare nel modo previsto dal sistema. Agentic AI Voice Mode sostituisce questa logica con un modello basato sulla comprensione dell’intenzione, del contesto e della lingua utilizzata. Può quindi interpretare espressioni colloquiali, richieste indirette e conversazioni nelle quali vengono mescolate più lingue, una condizione frequente nelle famiglie indiane. Una frase come “sento un po’ freddo”, per esempio, può essere interpretata come una richiesta di ridurre la velocità del ventilatore e contemporaneamente modificare l’impostazione del condizionatore, senza che l’utente debba nominare esplicitamente nessuno dei due apparecchi.
La piattaforma permette di controllare dispositivi singoli, stanze, scene e azioni coordinate tra più apparecchi. Le categorie attualmente comprese includono ventilatori, purificatori d’aria, purificatori d’acqua e scaldabagni Havells, condizionatori e lavatrici Lloyd, smart switch Crabtree e altri prodotti smart che verranno aggiunti progressivamente. I comandi possono intervenire su parametri come velocità, modalità operative, timer e rotazione inversa, mentre il livello conversazionale rimane comune alle diverse categorie. Una singola istruzione può così essere suddivisa in più operazioni ed eseguita contemporaneamente su dispositivi differenti, anche quando questi utilizzano protocolli di connettività diversi.
L’agente mantiene inoltre il contesto nel corso delle conversazioni multi-turno. Dopo una richiesta come “rallenta il ventilatore”, l’utente può aggiungere semplicemente “ancora un po’” e il sistema collega automaticamente la seconda frase al comando precedente. Se invece una richiesta è ambigua, l’agente può chiedere un chiarimento prima di intervenire: in una casa con due condizionatori, per esempio, un generico comando di accensione può determinare una domanda sulla stanza alla quale ci si riferisce. Il sistema fornisce anche feedback vocale sulle operazioni eseguite, comunica ciò che non può fare e può interpretare codici di errore visualizzati dagli apparecchi, restituendo una spiegazione in linguaggio naturale e indicando il possibile passo successivo.
Havells indica dieci capacità già operative nel sistema: comprensione del linguaggio naturale, memoria del contesto, orchestrazione di più dispositivi, consapevolezza del contesto, gestione multilingue, attivazione senza configurazioni specifiche, controllo cross-protocol, feedback conversazionale bidirezionale, diagnostica degli errori e automazione basata su regole. L’obiettivo tecnico non è quindi soltanto sostituire i pulsanti dell’app con la voce, ma introdurre un livello software intermedio capace di interpretare richieste più astratte e trasformarle in una sequenza di azioni sugli apparecchi presenti nell’ambiente domestico.
Per realizzare il livello vocale, Havells ha utilizzato ElevenAPI con Scribe v2 Realtime per la trascrizione speech-to-text e Eleven v3 Conversational per la sintesi text-to-speech. Durante la selezione della tecnologia sono stati confrontati diversi sistemi sulla base dell’accuratezza del riconoscimento, del supporto multilingue, della latenza e della naturalezza della sintesi vocale. Il tempo di risposta è stato considerato particolarmente importante perché, in un’interfaccia domestica utilizzata in tempo reale, un ritardo percepibile rende l’interazione simile ai tradizionali sistemi vocali basati su comando anziché a una conversazione continua. ElevenLabs è stata scelta anche per il supporto delle lingue indiane, la qualità delle API, gli strumenti messi a disposizione degli sviluppatori e la disponibilità di voci utilizzabili nei diversi idiomi regionali.
Il Center for Research & Innovation di Havells ha realizzato un primo prototipo funzionante in circa due settimane, verificando l’intero percorso che parte dalla richiesta vocale, passa attraverso l’interpretazione dell’agente e arriva all’azione fisica sul dispositivo e alla successiva risposta parlata. Il passaggio dal prototipo a una versione pronta per la produzione ha richiesto complessivamente circa sei settimane. Gran parte del lavoro successivo al prototipo è stata dedicata non tanto al riconoscimento vocale, quanto alla gestione del catalogo multilingue degli apparecchi, alle differenti capacità dei vari modelli, ai comandi complessi, ai casi limite e ai meccanismi di recupero in caso di richieste non eseguibili. Il team Forward Deployed Engineering di ElevenLabs ha inoltre collaborato con Havells per ottimizzare qualità e pronuncia delle lingue regionali e per mantenere stabile la latenza all’aumentare delle sessioni simultanee.
La nuova modalità è utilizzabile dagli utenti che possiedono un dispositivo Havells Smart registrato nell’app Havells One. L’azienda prevede di estendere progressivamente la copertura linguistica, aggiungere nuove categorie di apparecchi e introdurre una personalizzazione più profonda in funzione dei diversi membri della famiglia e delle loro abitudini. Tra gli sviluppi previsti rientrano anche l’utilizzo della voce per consultare FAQ relative ai prodotti, eseguire operazioni di troubleshooting, configurare routine di automazione e programmare attività, ampliando così il ruolo dell’interfaccia oltre i tradizionali comandi di accensione, spegnimento e regolazione.
Havells punta inoltre a trasformare la voce in un punto di accesso comune all’intero ecosistema domestico, affiancando l’app, i pannelli di controllo e le interfacce dei singoli prodotti. La piattaforma è stata progettata per integrare progressivamente anche dispositivi oggi non connessi e portarli successivamente sotto lo stesso livello conversazionale. L’adozione sull’intera base di Havells One, che ha superato i 2,7 milioni di download, fornisce al team CRI una quantità crescente di interazioni reali attraverso cui affinare riconoscimento linguistico, gestione dei dispositivi, comprensione dei comandi e comportamento dell’agente nelle diverse configurazioni domestiche.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)