La startup singaporiana Sapient Intelligence ha presentato HRM-Text, un nuovo modello linguistico basato sull’architettura Hierarchical Reasoning Model (HRM), progettato per migliorare l’efficienza dell’addestramento e del ragionamento rispetto ai tradizionali modelli basati su Transformer. Il sistema è stato sviluppato con circa 1 miliardo di parametri e un costo di addestramento stimato intorno ai 1.500 dollari, una cifra significativamente inferiore rispetto ai costi normalmente associati allo sviluppo di modelli linguistici moderni.
L’architettura HRM rappresenta il principale elemento distintivo del progetto. A differenza dei Transformer convenzionali, che elaborano simultaneamente tutte le informazioni attraverso meccanismi di attenzione distribuiti, HRM separa il processo di elaborazione in due livelli gerarchici. Un modulo superiore, denominato H Module, mantiene la rappresentazione semantica e strategica a lungo termine del problema, mentre un modulo inferiore, chiamato L Module, esegue iterazioni rapide dedicate alla risoluzione dei dettagli operativi e delle singole fasi del ragionamento.
Durante l’inferenza, il modello alterna cicli di elaborazione veloci e lenti che consentono di affinare progressivamente la risposta. Secondo Sapient Intelligence, questa struttura si ispira ai meccanismi cognitivi umani, nei quali la pianificazione generale e l’esecuzione dei dettagli operano su scale temporali differenti. L’obiettivo è ottenere capacità di ragionamento più efficienti senza aumentare indiscriminatamente il numero di parametri o il volume dei dati di addestramento.
Anche la strategia di training si discosta significativamente dagli approcci tradizionali utilizzati nei grandi modelli linguistici. HRM-Text non è stato addestrato utilizzando grandi quantità di dati raccolti dal web. Il team di ricerca ha invece costruito un dataset di circa 40 miliardi di token composto da istruzioni, risposte, problemi matematici, esercizi logici, contenuti didattici e conoscenze rielaborate. L’attenzione è stata posta sulla qualità e sulla struttura dei dati piuttosto che sulla loro semplice quantità.
Un’altra caratteristica rilevante riguarda la funzione obiettivo utilizzata durante l’addestramento. Invece di ottimizzare esclusivamente la previsione del token successivo, HRM-Text utilizza un approccio orientato al completamento dell’intero compito. Il sistema viene premiato in base alla correttezza della risposta finale piuttosto che alla precisione di ogni singolo passaggio intermedio. I ricercatori hanno inoltre rimosso deliberatamente le tradizionali tracce di Chain of Thought dai dati di addestramento, con l’obiettivo di favorire lo sviluppo di processi di ragionamento interni anziché la semplice memorizzazione di schemi già osservati.
Nei benchmark pubblicati, HRM-Text ha ottenuto il 60,7% su MMLU, utilizzato per valutare conoscenze generali e comprensione, l’84,5% su GSM8K per il ragionamento matematico e il 56,2% sul benchmark MATH dedicato a problemi matematici complessi. Secondo il team di sviluppo, questi risultati consentono al modello di competere con sistemi open source significativamente più grandi, compresi modelli compresi tra 2 e 7 miliardi di parametri, soprattutto nei compiti che richiedono capacità di inferenza e ragionamento strutturato.
Uno degli aspetti più rilevanti riguarda l’efficienza computazionale. Sapient sostiene che HRM-Text abbia utilizzato quantità di dati e risorse di calcolo drasticamente inferiori rispetto a numerosi modelli contemporanei. L’addestramento sarebbe stato completato in circa 1,9 giorni utilizzando un cluster di 16 GPU, con un fabbisogno computazionale fino a centinaia di volte inferiore rispetto ad alcune delle principali famiglie di modelli open source oggi disponibili.
L’azienda sottolinea comunque che HRM-Text non è ancora un chatbot general purpose pronto per un utilizzo commerciale su larga scala. L’attuale rilascio viene presentato come una proof of concept destinata a dimostrare la validità dell’architettura HRM. Saranno necessari ulteriori interventi di allineamento, ottimizzazione e ingegnerizzazione prima che la tecnologia possa essere integrata in prodotti e servizi destinati agli utenti finali. Per favorire la ricerca e la validazione indipendente, Sapient Intelligence ha reso disponibili pubblicamente il modello, il codice sorgente e la documentazione tecnica attraverso GitHub e Hugging Face.