Artificial Analysis ha lanciato Optima, una piattaforma che permette di costruire benchmark personalizzati per confrontare modelli di intelligenza artificiale direttamente sui dati, sui task e sui criteri di valutazione utilizzati da una specifica organizzazione. Il sistema è stato progettato per superare il limite dei benchmark generalisti, che misurano capacità medie su dataset standardizzati ma non necessariamente riflettono il comportamento di un modello all’interno di un determinato flusso di lavoro aziendale. Con Optima è possibile eseguire più modelli nelle stesse condizioni e confrontarli non soltanto per accuratezza o qualità dell’output, ma anche per costo per task e tempo richiesto per completare ogni attività.
La piattaforma consente di costruire il dataset di valutazione partendo direttamente dai dati dell’utente. I casi di test possono essere caricati tramite file, importati da Hugging Face oppure ricavati da piattaforme di sviluppo e osservabilità come Arize AI, Braintrust e Langfuse. In quest’ultimo caso è possibile utilizzare come materiale di valutazione anche le tracce prodotte da precedenti esecuzioni di agenti. Optima supporta inoltre la creazione di benchmark basati sul contesto di ambienti di coding e sessioni precedenti, permettendo di trasformare workload già eseguiti in test riproducibili.
La modalità più semplice consiste nel descrivere il caso d’uso in linguaggio naturale. L’utente può indicare il tipo di attività che vuole valutare e fornire alcuni esempi di input e output; Optima utilizza queste informazioni per generare automaticamente un benchmark adatto al compito. In questo modo non è necessario costruire manualmente l’intera pipeline di evaluation né predisporre da zero criteri, dataset, orchestrazione dei test e strumenti di scoring. Il benchmark risultante può essere poi applicato a più modelli contemporaneamente mantenendo costanti le condizioni operative.
Una volta costruito il benchmark, la stessa configurazione può essere rieseguita quando vengono pubblicati nuovi modelli. Questo permette di mantenere aggiornata nel tempo una leaderboard specifica per il proprio workload e verificare se un nuovo sistema offre effettivamente un vantaggio rispetto alla configurazione già in produzione. Il confronto non è quindi limitato a una valutazione una tantum, ma può diventare un processo continuo con cui seguire l’evoluzione dei modelli e rivalutare periodicamente le scelte effettuate.
Optima supporta più modalità di valutazione. L’utente può definire criteri oggettivi con cui assegnare un punteggio alle risposte oppure utilizzare il metodo di pairwise judging già impiegato da Artificial Analysis nei propri benchmark. In questa configurazione vengono presentate coppie di output e l’utente indica quale considera migliore. A partire da un insieme di preferenze espresse manualmente, il sistema apprende il criterio utilizzato e lo estende al resto del dataset, producendo una classifica complessiva dei modelli.
L’elemento centrale della piattaforma è il confronto simultaneo tra qualità, costo e velocità. Per ogni modello vengono misurati Cost per Task e Time per Task, in modo da quantificare il prezzo operativo necessario per ottenere un determinato livello di prestazioni. Questo permette di identificare configurazioni che non risultano necessariamente prime per qualità assoluta ma che offrono un rapporto più favorevole tra accuratezza, latenza e costo. In alcuni casi un modello leggermente meno performante può ridurre la spesa di un ordine di grandezza mantenendo risultati sufficientemente vicini a quelli del sistema più costoso.
Durante la fase beta, Optima è stata utilizzata per valutare workload differenti. In un caso ha permesso di individuare un modello capace di mantenere la qualità di un agente finanziario e contabile riducendone i costi a circa un decimo. In un altro è stata utilizzata per confrontare modelli destinati a un agente legale e individuare quello che produceva lo stile di scrittura più adatto al contesto. Un ulteriore test ha riguardato modelli vision applicati a uno specifico dataset di immagini, con l’obiettivo di stabilire quale sistema identificasse gli oggetti con maggiore precisione.
La piattaforma sposta quindi la scelta del modello da una classifica generale a una valutazione costruita sul workload effettivo. Un’organizzazione può definire quali output considera corretti o preferibili, utilizzare i propri dati storici e includere nel confronto anche indicatori economici e operativi. Questo permette di verificare, per esempio, se un modello più economico mantiene prestazioni sufficientemente vicine a quelle di un sistema frontier, se un nuovo modello riduce significativamente la latenza oppure se un modello che ottiene risultati molto elevati nei benchmark pubblici mantiene lo stesso vantaggio sui task specifici dell’azienda.
Optima è disponibile attraverso la piattaforma Artificial Analysis e può essere utilizzata per costruire benchmark dedicati a modelli linguistici, agenti e sistemi multimodali. Il risultato finale è una leaderboard privata e aggiornata basata sui criteri realmente rilevanti per il singolo utilizzo, nella quale qualità dell’output, costo per esecuzione e tempo di completamento vengono valutati insieme anziché separatamente.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)