PLAYTAG ha lanciato mono_xyz, chiamato anche mono, una soluzione conversazionale di intelligenza artificiale progettata per trasformare i comportamenti osservabili nei video in dati quantitativi interrogabili attraverso il linguaggio naturale. Il sistema può analizzare filmati provenienti da smartphone, social media, telecamere di sicurezza e altre sorgenti video e permette all’utente di porre direttamente domande su ciò che una persona sta facendo, sulle modalità con cui svolge una determinata attività e su come il suo comportamento cambia nel tempo. L’impostazione si differenzia dalle tradizionali piattaforme di video analytics che vengono normalmente configurate per riconoscere eventi specifici attraverso regole predefinite, come una caduta, un’intrusione o il superamento di una determinata area: mono_xyz è invece costruito per analizzare sequenze continuative di comportamento, considerando contemporaneamente contesto e intenzione senza richiedere la configurazione preventiva di una regola per ogni evento da individuare. L’utente può quindi partire dal materiale video esistente e formulare domande in linguaggio naturale senza utilizzare codice o hardware aggiuntivo, mentre il sistema segue le persone all’interno delle sequenze e restituisce risultati riferiti ai singoli individui. Le risposte non vengono fornite esclusivamente come descrizioni testuali, perché mono_xyz associa i risultati a evidenze verificabili quali timestamp, conteggi e clip corrispondenti ai momenti individuati nel filmato, rendendo possibile risalire direttamente alle sequenze dalle quali deriva l’analisi.
Alla base della piattaforma si trova il Behavior Foundation Model sviluppato da PLAYTAG e addestrato utilizzando oltre 7 milioni di ore di video relativi al comportamento umano. La società sostiene di avere costruito quello che ritiene essere il più grande dataset al mondo dedicato all’analisi tridimensionale del comportamento umano in ambienti reali, partendo dall’idea che uno dei principali limiti dei sistemi di video intelligence non sia rappresentato soltanto dagli algoritmi disponibili, ma dalla quantità e soprattutto dalla struttura dei dati necessari per comprendere come una persona agisca nel corso del tempo. Il modello collega infatti l’identità dell’individuo alle informazioni spaziali tridimensionali e al contesto temporale, permettendo di analizzare movimento, interazioni, routine e variazioni comportamentali non come eventi isolati ma come parti di una sequenza. In questo modo mono_xyz può individuare modifiche anche sottili nel comportamento e lavorare in ambienti visivamente complessi, seguendo un individuo attraverso il filmato e analizzando le sue azioni rispetto a ciò che è accaduto prima, alle persone presenti, agli oggetti con cui interagisce e all’ambiente circostante. Questa impostazione permette di passare dalla classica domanda su ciò che appare in una determinata immagine o in un breve spezzone video a interrogazioni che riguardano l’evoluzione delle attività nel tempo, fino alla ricerca di pattern, routine e anomalie riferite alla singola persona. Il modello può inoltre essere applicato a filmati personali, riprese di sorveglianza ed egocentric video, quindi materiale acquisito dal punto di vista di chi indossa o utilizza il dispositivo di registrazione.
mono_xyz è già utilizzato in cinque principali ambiti applicativi: robotica, ricerca sul behavioral coding, analisi sportiva, assistenza a bambini e anziani e attività legate a costruzioni e produzione industriale. PLAYTAG sta lavorando in particolare alla trasformazione del modello in applicazioni verticali, tra cui l’analisi del customer journey negli ambienti retail, la sicurezza nelle interazioni tra persone e robot all’interno delle smart factory e il monitoraggio dei cambiamenti evolutivi e cognitivi nei contesti assistenziali. Nel retail, una tecnologia di questo tipo può ricostruire il percorso e le interazioni di ciascuna persona all’interno di uno spazio sulla base di sequenze temporali; negli ambienti industriali l’analisi può essere utilizzata per comprendere in che modo operatori e sistemi robotici condividano lo stesso ambiente e per identificare configurazioni comportamentali potenzialmente rilevanti per la sicurezza; nelle strutture di assistenza, invece, l’obiettivo è individuare nel tempo variazioni nelle routine o nelle modalità di movimento e interazione che possano essere utilizzate come segnali quantitativi. La piattaforma non è vincolata a telecamere dedicate e può utilizzare anche sistemi CCTV già installati, evitando quindi la necessità di sostituire l’infrastruttura di acquisizione video. Il modello è stato inoltre progettato per seguire la stessa persona attraverso periodi temporali estesi e, secondo le informazioni diffuse da PLAYTAG, anche attraverso più telecamere, elemento che permette di costruire una rappresentazione continuativa del comportamento anziché analizzare separatamente ogni singolo spezzone.
mono_xyz rappresenta il secondo principale livello applicativo della tecnologia sviluppata da PLAYTAG, società fondata nel 2022 e specializzata nella costruzione di modelli per comprendere le persone nel tempo attraverso video acquisiti in condizioni reali. La stessa base tecnologica viene utilizzata anche in StoryLine, servizio dedicato all’osservazione e alla comunicazione nel settore dell’educazione della prima infanzia, mentre mono_xyz porta il Behavior Foundation Model in un ambiente conversazionale nel quale l’utente può interrogare direttamente grandi quantità di materiale video. L’obiettivo dichiarato è rendere l’analisi comportamentale utilizzabile senza richiedere tagging manuale, configurazione di detector specifici o programmazione preventiva di ogni evento di interesse, lasciando invece al modello il compito di seguire ciascun individuo e collegare azioni, interazioni e variazioni nel corso del tempo. Il risultato è una modalità di video intelligence centrata sulla persona anziché sul singolo frame o sull’evento isolato: il filmato diventa una fonte interrogabile di informazioni strutturate sul comportamento, mentre timestamp, conteggi e clip mantengono un collegamento diretto tra la risposta prodotta dall’AI e le evidenze presenti nel materiale originale. PLAYTAG sta quindi sviluppando mono_xyz come prodotto generale per applicare lo stesso modello a contesti molto differenti, dalla ricerca alla robotica, dallo sport all’assistenza e agli ambienti industriali, utilizzando un’unica architettura addestrata su milioni di ore di comportamenti reali.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)