Xenon ha pubblicato come open source Hunmin VLM 397B, un modello vision-language da 397 miliardi di parametri progettato per riconoscere ciò che appare sullo schermo e interagire direttamente con l’ambiente informatico per eseguire attività operative. Il modello rappresenta una nuova evoluzione della serie Hunmin sviluppata dall’azienda coreana, che dopo Hunmin 32B e Hunmin VLM 235B ha progressivamente aggiunto capacità legate al lavoro reale mantenendo per quanto possibile le prestazioni generaliste dei modelli di base. Hunmin VLM 397B deriva dall’open model Qwen3.5-397B e ne rafforza in particolare le capacità di riconoscimento, grounding e azione sul computer, con l’obiettivo di permettere all’AI non soltanto di rispondere a domande o generare contenuti, ma anche di comprendere l’interfaccia utilizzata dall’utente, individuare elementi come pulsanti e campi di inserimento e compiere concretamente le operazioni necessarie per portare a termine un compito.
Il miglioramento delle capacità di grounding, cioè dell’identificazione precisa sullo schermo degli elementi con cui il modello deve interagire, emerge dai risultati ottenuti su cinque benchmark dedicati alla localizzazione degli oggetti nelle interfacce grafiche, nei quali Hunmin VLM 397B ha superato sia il modello di base Qwen3.5-397B sia Qwen-CUA, una variante specificamente sviluppata per il computer use. Nel benchmark ScreenSpot-Pro, pensato per valutare il riconoscimento di elementi grafici in interfacce particolarmente complesse, Hunmin VLM 397B ha raggiunto un punteggio di accuratezza pari a 75,6, posizionandosi al secondo posto nella classifica ufficiale di Hugging Face; tra i 48 modelli presenti nella leaderboard al momento della pubblicazione dei risultati, Hunmin VLM 397B era inoltre l’unico modello sviluppato in Corea del Sud.
La maggiore precisione nella comprensione dello schermo si riflette anche nei benchmark che richiedono di completare vere sequenze operative all’interno di un sistema informatico. Su OSWorld, ambiente di valutazione nel quale gli agenti devono eseguire 360 attività utilizzando un desktop Linux, Hunmin VLM 397B ha ottenuto 70,5 punti, superando di 22,3 punti il modello di base, mentre nel benchmark WindowsAgentArena, dedicato all’esecuzione di attività in ambiente Windows, il miglioramento è stato di 9,1 punti. Le modifiche introdotte da Xenon non riguardano quindi soltanto la capacità di localizzare correttamente un elemento grafico, ma l’intero processo necessario per muoversi tra sistema operativo e applicazioni, interpretare lo stato dell’interfaccia e completare le azioni richieste all’interno di un workflow.
Xenon ha cercato contemporaneamente di limitare la perdita delle capacità linguistiche originali provocata dalla specializzazione del modello per il computer use. Nei test condotti su otto benchmark coreani, tra cui KMMLU e K-MMBench, Hunmin VLM 397B è rimasto entro due punti dalle prestazioni del modello di base, mentre altri modelli ottenuti aggiungendo capacità di interazione con il computer alla stessa architettura hanno mostrato in alcuni benchmark riduzioni fino a sei punti. Questo aspetto è particolarmente rilevante per l’utilizzo negli ambienti aziendali coreani, perché consente di combinare l’esecuzione autonoma di attività attraverso le interfacce grafiche con capacità linguistiche sufficientemente vicine a quelle del modello originale.
Un elemento centrale del progetto riguarda inoltre il metodo utilizzato per specializzare un modello da 397 miliardi di parametri disponendo di risorse computazionali relativamente limitate. Xenon ha trasferito nel modello, attraverso tecniche low-rank, le capacità provenienti da modelli pubblici già specializzati nel controllo del computer e ha successivamente eseguito supervised fine-tuning, SFT, e reinforcement learning, RL, mantenendo il modello in quantizzazione FP8; l’intero processo di post-training è stato realizzato utilizzando otto GPU NVIDIA B200. L’azienda aveva già pubblicato nel luglio precedente un rapporto tecnico nel quale descriveva un metodo per addestrare modelli da 743 miliardi di parametri all’interno di ambienti dotati di un numero limitato di GPU, e con Hunmin VLM 397B ha applicato concretamente questa impostazione per dimostrare la possibilità di aggiungere nuove capacità a modelli di dimensioni molto elevate senza ricorrere necessariamente a infrastrutture di training altrettanto estese.
Hunmin VLM 397B dovrebbe infine contribuire allo sviluppo della strategia di Xenon dedicata alla cosiddetta “Actionable AI”, cioè sistemi in grado di tradurre l’elaborazione dell’intelligenza artificiale in azioni effettive all’interno degli strumenti utilizzati dalle aziende. Con il precedente Hunmin VLM 235B, la società aveva già rafforzato le capacità di Computer Use e Browser Use collegandole allo sviluppo di OneAgent, il proprio sistema AI orientato all’esecuzione concreta delle attività; il nuovo modello estende ulteriormente questa direzione, migliorando il riconoscimento delle interfacce e la capacità di controllare il computer con l’obiettivo di ampliare il numero di processi aziendali che possono essere affidati direttamente a un agente AI.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)