DeepSeek-V4 Flash è stato sottoposto a una serie di test in ambienti agentici reali per misurare quanto le prestazioni dipendano non soltanto dal modello, ma anche dall’harness utilizzato per orchestrare strumenti, contesto e chiamate operative. Composio ha eseguito il modello su 30 attività multi-step che richiedevano l’interazione con applicazioni aziendali come Gmail, GitHub, Slack e Google Sheets, confrontando quattro differenti ambienti di esecuzione: Claude Code, Codex, OpenCode e Oh My Pi. Complessivamente sono state effettuate 240 esecuzioni di workflow.
La percentuale media di completamento dei task di DeepSeek-V4 Flash si è attestata al 53,8%, un valore considerato comparabile a quello di modelli frontier in questo tipo di scenario. L’utilizzo di un harness è indispensabile per attività agentiche di questo tipo, perché il modello da solo non dispone dell’infrastruttura necessaria per collegarsi agli strumenti esterni, mantenere il contesto operativo, gestire le chiamate e coordinare i diversi passaggi. Proprio questa componente ha però prodotto differenze molto ampie tra le quattro configurazioni.
Il tasso di successo è variato dal 46,7% al 56,7% a seconda dell’harness utilizzato. Oh My Pi ha ottenuto il risultato migliore completando 17 dei 30 task, mentre OpenCode ne ha completati 14. La sola sostituzione dell’ambiente di orchestrazione ha quindi generato una differenza di 10 punti percentuali pur lasciando invariato il modello sottostante. Soltanto 6 dei 30 task sono stati completati con successo in tutti e quattro gli ambienti, mostrando che una parte consistente dei risultati dipende dall’interazione tra modello e infrastruttura di esecuzione.
Le differenze diventano ancora più evidenti sul fronte dei costi. Calcolando la spesa media per ogni task completato con successo, Oh My Pi ha registrato il valore più basso, pari a circa 0,073 dollari. Claude Code è arrivato invece a circa 0,195 dollari per successo. A parità di modello, il costo effettivo per ottenere un risultato corretto è quindi risultato circa 2,7 volte superiore nel secondo ambiente. Il dato mostra che il costo dell’inferenza del modello rappresenta soltanto una parte del costo operativo complessivo di un agente, al quale si aggiungono il numero di chiamate, i tentativi, la quantità di contesto trasferita e il modo in cui l’harness gestisce l’esecuzione.
La classifica cambia nuovamente considerando la velocità. Claude Code è risultato l’ambiente più rapido, con un tempo medio di completamento di 122,7 secondi, mentre Oh My Pi ha richiesto mediamente 272,4 secondi. La configurazione più economica e con il tasso di successo più elevato è stata quindi anche una delle più lente, con una differenza di circa 2,2 volte rispetto a Claude Code. Nessuno dei quattro harness ha dominato contemporaneamente su successo, costo e velocità.
Il risultato evidenzia il ruolo dell’orchestrazione nei sistemi agentici destinati alle applicazioni aziendali. Elementi come la gestione dei retry, il modo in cui vengono effettuate le chiamate agli strumenti, la struttura utilizzata per passare il contesto tra un passaggio e l’altro e le decisioni prese durante l’esecuzione possono modificare significativamente sia l’affidabilità sia il costo complessivo. Una valutazione basata esclusivamente sul benchmark del modello non descrive quindi necessariamente le prestazioni che lo stesso sistema avrà una volta inserito in un workflow operativo con strumenti esterni.
DeepSeek-V4 Flash era stato pubblicato ufficialmente il 31 luglio 2026 e aveva ottenuto un Intelligence Index pari a 50 nelle valutazioni di Artificial Analysis, superando il punteggio di 45 attribuito a DeepSeek-V4 Pro. Il modello aveva mostrato anche una maggiore efficienza nell’utilizzo dei token, con una riduzione del 12% dei token di output rispetto alla versione precedente. Queste caratteristiche hanno contribuito al posizionamento del modello come soluzione ad alte prestazioni con costi relativamente contenuti.
Successivamente i prezzi API di DeepSeek-V4 Flash sono aumentati tra il 57% e il 371%, a seconda delle condizioni applicate, ma il modello continua a mantenere un posizionamento competitivo rispetto a numerose alternative. DeepSeek ha inoltre pubblicato in open source un proprio agent harness, aggiungendo un ulteriore livello di confronto tra il modello e gli ambienti utilizzati per eseguirlo.
La combinazione tra prestazioni, efficienza e prezzo ha favorito una rapida diffusione del modello. Nell’ultima settimana considerata, DeepSeek-V4 Flash è arrivato al primo posto su OpenRouter per quantità complessiva di token utilizzati, superando anche GPT-5.6 Luna e GLM-5.2. I test di Composio mostrano tuttavia che, nell’utilizzo agentico, la scelta del modello costituisce soltanto una parte dell’architettura: lo stesso DeepSeek-V4 Flash può passare da un tasso di successo del 46,7% al 56,7%, variare di quasi tre volte nel costo per task riuscito e più che raddoppiare i tempi di esecuzione esclusivamente in funzione dell’harness attraverso cui viene utilizzato.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)