Valory ha presentato Olas-Predict-Qwen3.8-27B, un modello a pesi aperti da 27 miliardi di parametri sviluppato per stimare la probabilità di eventi futuri utilizzando informazioni raccolte dai mercati previsionali e da altre fonti documentali. Nelle valutazioni interne condotte su 6.824 mercati con eventi verificabili, il nuovo modello ha raggiunto un’accuratezza bilanciata del 67,3%, contro il 68,5% ottenuto dal modello GPT-5.6 utilizzato come riferimento. Le prove sono state effettuate con evidenze informative e prompt comuni, temperatura impostata a zero e un filtro cronologico collegato alla data di cutoff dichiarata per il modello di confronto, fissata al 16 febbraio 2026. L’accuratezza bilanciata considera separatamente le due classi di esito, evitando che una categoria particolarmente frequente condizioni eccessivamente il risultato. La valutazione comprende anche il Brier score, che misura l’errore delle probabilità assegnate e penalizza soprattutto le previsioni molto sicure che risultano sbagliate.
Olas-Predict-Qwen3.8-27B ha ottenuto un Brier score di 0,2124, rispetto a 0,2029 del riferimento GPT-5.6. Il precedente Olas-Predict-R1-14B registrava invece 0,2722 e un’accuratezza bilanciata del 58,9%, mentre una baseline storica GPT-4.1 raggiungeva rispettivamente 0,3110 e 58,5%. La versione Qwen3.8-27B prima dell’addestramento specialistico aveva già ottenuto 0,2235 e 66,4%, evidenziando che buona parte del progresso deriva dal modello di base. L’addestramento specifico ha comunque ridotto l’errore Brier di circa il 5%, aumentato l’accuratezza bilanciata di 0,9 punti percentuali e migliorato del 12,3% l’errore di calibrazione atteso, passato da 0,1630 a 0,1429. Quest’ultima misura quantifica la corrispondenza tra il livello di fiducia dichiarato e la frequenza effettiva degli eventi previsti. I risultati rappresentano confronti interni circoscritti a un particolare insieme di mercati e non una dimostrazione di equivalenza generale con modelli più grandi.
Il sistema utilizza esempi previsionali sottoposti a revisione e tecniche di reinforcement learning per affinare le stime probabilistiche. La raccolta delle informazioni viene gestita da uno strumento separato che recupera dati di mercato e materiali documentali prima di passarli al modello linguistico. Questa suddivisione consente di modificare indipendentemente il recupero delle evidenze e il motore di previsione. Valory contribuisce all’ecosistema Olas Predict, nel quale agenti specializzati possono creare mercati, formulare previsioni, svolgere operazioni e registrare gli esiti degli eventi. Attraverso Mech Marketplace, altri agenti possono acquistare servizi previsionali; una volta concluso l’evento, il confronto tra probabilità e risultato alimenta ulteriori valutazioni. Il precedente modello Olas-Predict-R1-14B era stato specializzato utilizzando oltre 200.000 registrazioni previsionali e una sua distinta valutazione aveva raggiunto il 75,8% di accuratezza ordinaria su 2.628 mercati, dato non direttamente confrontabile con la nuova accuratezza bilanciata. La disponibilità dei pesi permette agli sviluppatori di ospitare e adattare il modello, anche se Valory non ha comunicato benchmark specifici sui costi di esecuzione e sulle prestazioni infrastrutturali della nuova versione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)