Kleon sta sviluppando una Human AI Interface progettata per consentire ai sistemi di intelligenza artificiale di interagire con le persone attraverso volto, voce, espressioni facciali e movimenti corporei, superando il modello tradizionale del chatbot testuale. La tecnologia combina large language model, riconoscimento automatico del parlato, sintesi vocale, retrieval augmented generation e sistemi di generazione e streaming video in tempo reale, con l’obiettivo di costruire agenti digitali capaci non soltanto di comprendere una richiesta e formulare una risposta, ma anche di pronunciarla attraverso un avatar che reagisce visivamente durante la conversazione.
Una delle componenti principali riguarda la generazione delle espressioni facciali in funzione del contenuto emotivo della conversazione. Il sistema è stato sviluppato partendo dal modo in cui una persona modifica contemporaneamente sguardo, mimica e configurazione complessiva del volto quando comunica emozioni differenti. L’interfaccia può quindi produrre espressioni diverse in presenza di stati come gioia, tristezza o rabbia e consente anche di controllarne intensità e variazione nel corso dell’interazione, evitando di trattare l’espressione facciale come una semplice animazione separata dalla risposta generata dall’AI.
La ricerca dedicata a questa tecnologia è stata accettata alla British Machine Vision Conference 2026, una delle principali conferenze internazionali dedicate alla computer vision. Per Kleon si tratta del terzo risultato di ricerca presentato nel corso del 2026 in una conferenza internazionale di primo piano, dopo altri lavori accettati a ICLR e CVPR. Le diverse ricerche riguardano componenti complementari che l’azienda sta progressivamente integrando all’interno dello stesso sistema di interazione uomo-AI.
La tecnologia dedicata alle espressioni non è limitata ai volti fotorealistici. Kleon ha sviluppato il sistema in modo che possa essere applicato anche ad avatar animati e personaggi tridimensionali, permettendo quindi di utilizzare lo stesso modello di generazione emotiva in interfacce visive con caratteristiche differenti. L’espressione dell’avatar può cambiare in funzione del significato della risposta e dello stato emotivo associato alla conversazione, mantenendo sincronizzati i diversi elementi del volto.
Un secondo filone riguarda la generazione automatica dei movimenti dell’intero corpo. Kleon ha sviluppato una tecnologia di full-body conversational avatar capace di produrre gesti delle mani e movimenti corporei partendo esclusivamente dalla voce. Il sistema utilizza quindi le caratteristiche del parlato come segnale per costruire gestualità coerenti con ciò che l’avatar sta dicendo, senza richiedere una sequenza di animazioni preparata manualmente per ogni frase. Questo lavoro è stato presentato a CVPR 2026.
A questa componente si aggiunge una tecnologia dedicata alla rappresentazione dei dettagli fisici durante il movimento. Quando l’avatar modifica postura o compie un gesto, elementi come gli abiti possono reagire in maniera coordinata, riproducendo per esempio il movimento del tessuto associato allo spostamento del corpo. Questa ricerca, dedicata quindi a una rappresentazione più dettagliata e dinamica dell’aspetto del personaggio, è stata presentata a ICLR 2026.
Kleon sta ora collegando queste tecnologie all’interno di un unico sistema capace di operare in tempo reale. La pipeline comprende comprensione della richiesta tramite LLM, riconoscimento vocale attraverso ASR, recupero di informazioni tramite RAG, produzione della risposta, conversione del testo in voce tramite TTS e generazione simultanea dell’aspetto visivo dell’avatar. Espressioni, movimenti delle labbra, sguardo, gesti e movimento corporeo vengono quindi trattati come parti della stessa interfaccia anziché come moduli utilizzati separatamente.
L’obiettivo operativo è utilizzare questa architettura nei contesti nei quali una persona interagisce direttamente con un sistema AI attraverso una presenza visiva. Tra le applicazioni indicate rientrano formazione aziendale, digital signage, retail, spazi pubblici, eventi di marca ed esposizioni. Un display installato in un punto vendita o in uno spazio pubblico potrebbe quindi mostrare un human AI capace di ascoltare una domanda, recuperare le informazioni pertinenti, rispondere verbalmente e accompagnare il contenuto con movimenti facciali e corporei coerenti con la situazione.
L’impostazione parte dal presupposto che, quando un sistema AI deve interagire direttamente con una persona, la sola generazione corretta del testo non sia sufficiente. Oltre a comprendere la domanda e formulare la risposta, l’avatar deve sincronizzare il movimento delle labbra con la voce, assumere espressioni compatibili con il contesto e modificare sguardo e gestualità durante il dialogo. Kleon sta quindi concentrando lo sviluppo sull’integrazione in tempo reale di queste componenti, trasformando l’avatar da semplice rappresentazione video del modello a interfaccia completa attraverso la quale l’AI comunica con l’utente.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)