TypeSafe AI ha presentato Jev, il primo modello appartenente alla nuova categoria che la società definisce “System One Models”, progettata non per generare linguaggio naturale in forma conversazionale ma per prendere rapidamente decisioni strutturate che possano essere utilizzate direttamente dal software. La società è stata fondata da Diogo Almeida, ex ricercatore di OpenAI che ha contribuito al lavoro sull’instruction following e sull’apprendimento per rinforzo da feedback umano alla base dello sviluppo di ChatGPT, e ha lavorato per circa due anni in modalità riservata prima di rendere disponibile Jev in accesso anticipato. Almeida ha spiegato di essere partito dall’idea che i modelli conversazionali potessero costituire il percorso verso sistemi di intelligenza più generale, per poi concentrarsi su un problema differente: nonostante i grandi progressi dei modelli linguistici nella conversazione e nella generazione di testo, molte applicazioni software richiedono soprattutto decisioni rapide, ripetibili, economiche e direttamente interpretabili dal codice.
Jev utilizza quindi un’architettura e un sistema di campionamento progettati specificamente per l’automazione, evitando il tradizionale processo autoregressivo nel quale un LLM produce l’output un token alla volta. Il modello riceve uno stato, che può contenere informazioni non strutturate come testo, log, ticket, dati relativi a un’applicazione o altri elementi contestuali, insieme a una serie di domande tipizzate, quindi valuta in parallelo le possibili decisioni e restituisce risultati strutturati accompagnati da probabilità e indicazioni di confidenza che il software può utilizzare immediatamente. TypeSafe descrive questo meccanismo come una sorta di “function call con intelligence di frontiera”: invece di chiedere a un modello linguistico di generare una risposta testuale che dovrà successivamente essere interpretata, validata e convertita in un formato utilizzabile dal programma, Jev produce direttamente valori appartenenti ai tipi e alle alternative definite dall’applicazione.
Alla base dell’addestramento si trova un metodo sviluppato dalla società e denominato Reinforcement Learning for Calibrated Decisions, o RLCD, che TypeSafe distingue sia dal Reinforcement Learning from Human Feedback, utilizzato per orientare i modelli verso risposte preferite dagli esseri umani, sia dal Reinforcement Learning from Verifiable Rewards, nel quale la ricompensa può dipendere dalla correttezza verificabile del risultato. RLCD punta invece a produrre probabilità calibrate, in modo che il livello di sicurezza espresso dal modello abbia una relazione significativa con la frequenza effettiva con cui le decisioni risultano corrette; un’applicazione può quindi stabilire soglie oltre le quali procedere automaticamente, intervalli nei quali richiedere ulteriori verifiche e livelli di confidenza sufficientemente bassi da demandare la decisione a una persona.
L’approccio è strettamente legato alla sicurezza dei tipi, perché Jev non dispone di un generatore di stringhe libero analogo a quello di un normale LLM ma restituisce valori all’interno dello schema dichiarato dall’applicazione. TypeSafe sostiene per questo che gli errori di tipo siano impossibili per costruzione e utilizza anche l’espressione “zero hallucinations”, ma questa definizione riguarda il fatto che il modello non può inventare arbitrariamente una stringa esterna alle possibilità previste dall’interfaccia e non significa che ogni decisione sia necessariamente corretta. Jev può selezionare l’alternativa sbagliata o attribuire una probabilità non perfettamente accurata, mentre la differenza rispetto a un modello generativo consiste nel fatto che l’errore rimane confinato all’interno dello spazio di decisione definito dal software, senza produrre output malformati o valori appartenenti a tipi non previsti.
TypeSafe dichiara che questa impostazione consente di raggiungere livelli di intelligence comparabili con quelli di alcuni LLM utilizzati negli stessi workflow, riducendo fortemente latenza e costi grazie alla generazione parallela delle decisioni. Nei benchmark pubblicati dalla società, Jev ha raggiunto in determinati flussi di lavoro reali velocità fino a 193,6 volte superiori e costi fino a 444,6 volte inferiori rispetto ai modelli linguistici utilizzati come riferimento, mentre il sito ufficiale indica un prezzo di 42 dollari per un miliardo di token di input, equivalente a 0,042 dollari per milione di token. I dati sono tuttavia benchmark prodotti direttamente da TypeSafe e non costituiscono ancora una valutazione indipendente; la stessa società segnala inoltre che alcuni dei rapporti estremi di prezzo osservati potrebbero dipendere dalle condizioni attuali e non rappresentare necessariamente valori sostenibili in modo identico nel lungo periodo.
Anche il metodo di valutazione è stato costruito in modo diverso rispetto ai tradizionali benchmark basati semplicemente sulla percentuale di risposte corrette. TypeSafe ha sottoposto più modelli agli stessi workflow implementati in codice, valutando non soltanto la decisione finale ma la qualità delle distribuzioni di probabilità prodotte rispetto alle valutazioni di sistemi esterni più grandi e performanti, e sostiene che Jev raggiunga una posizione sulla frontiera di Pareto quando vengono considerate congiuntamente intelligence, velocità e costo. L’obiettivo è infatti utilizzare le probabilità come parte integrante dell’automazione: numerosi processi aziendali non richiedono una singola risposta binaria, ma la valutazione simultanea di molte condizioni indipendenti, ciascuna associata a una probabilità, dalle quali il software può successivamente ricavare differenti ramificazioni operative.
Tra gli esempi mostrati figurano sistemi nei quali lo stato corrente di un gioco viene fornito al modello affinché produca decisioni in tempo reale e un esperimento basato sulla navigazione tra pagine di Wikipedia, nel quale l’agente deve partire da una pagina e raggiungerne un’altra utilizzando esclusivamente i collegamenti disponibili. In quest’ultimo scenario ogni passaggio può richiedere la selezione di un collegamento tra centinaia o migliaia di possibilità, rendendo particolarmente importanti la velocità di valutazione e la garanzia che l’output rimanga all’interno dell’insieme di link effettivamente fornito al modello, senza generare autonomamente destinazioni inesistenti.
TypeSafe AI non presenta Jev come un sostituto dei modelli linguistici generalisti, che rimangono più adatti alla conversazione, alla scrittura, alla sintesi e alla generazione di contenuti aperti, ma come un’interfaccia di intelligenza destinata ai punti di un’applicazione nei quali il software deve prendere molte decisioni strutturate con bassa latenza e costi contenuti. Jev è stato reso disponibile in accesso anticipato e la società intende utilizzare le prime implementazioni reali per individuare quali categorie di processi decisionali possano essere automatizzate efficacemente attraverso i System One Models, mantenendo nel codice dell’applicazione il controllo sulle alternative disponibili e sulle soglie di confidenza necessarie per eseguire automaticamente ciascuna azione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)