L’impiego coordinato di più modelli linguistici viene spesso considerato un metodo efficace per aumentare l’accuratezza dei sistemi di intelligenza artificiale. L’idea è che modelli sviluppati da aziende diverse, specializzati in attività differenti o basati su architetture non identiche possano compensare reciprocamente i propri errori. Una nuova analisi condotta su 67 modelli mostra però che questo vantaggio è fortemente limitato dalla tendenza dei sistemi a fallire contemporaneamente sulle stesse richieste.
Il problema viene definito “co-failure”, o fallimento congiunto. Indica la quota di domande per le quali tutti i modelli disponibili producono una risposta errata. Quando nessuno dei sistemi riesce a risolvere correttamente il compito, nessun meccanismo di selezione, votazione o instradamento può recuperare la risposta corretta. Il tasso di fallimento congiunto determina quindi un limite massimo teorico che l’orchestrazione non può superare.
Se la probabilità che tutti i modelli sbaglino contemporaneamente è indicata con β, la precisione massima raggiungibile dal sistema non può superare 1−β. Questo limite rimane valido anche utilizzando un router ideale, capace di riconoscere sempre quale modello scegliere quando almeno uno di essi dispone della risposta corretta. Aggiungere ulteriori modelli non elimina quindi automaticamente gli errori condivisi.
L’analisi ha esaminato 67 modelli linguistici provenienti da 21 aziende, includendo sistemi generalisti, modelli dedicati al ragionamento e soluzioni specializzate nella generazione di codice. I test hanno riguardato problemi matematici, attività di programmazione e quesiti scientifici avanzati, con l’obiettivo di confrontare le stime teoriche del fallimento congiunto con il comportamento realmente osservato.
Sul benchmark matematico MATH-500, i metodi tradizionali basati sulla correlazione degli errori tra coppie di modelli stimavano una probabilità del 2,3% che tutti i sistemi fallissero sulla stessa domanda. La misurazione effettiva ha invece rilevato un tasso del 5,2%, pari a circa 2,25 volte la previsione. Le valutazioni costruite sulle sole correlazioni a coppie sottostimavano quindi in modo significativo la presenza di quesiti difficili per l’intero insieme dei modelli.
La correlazione a coppie misura quanto spesso due modelli commettono errori sugli stessi esempi, ma non descrive completamente il comportamento di un gruppo numeroso. Diversi sistemi possono mostrare una sovrapposizione limitata degli errori quando vengono confrontati due alla volta e continuare, tuttavia, a sbagliare tutti insieme su una parte specifica del dataset. Le richieste più difficili tendono infatti a mettere in evidenza limiti comuni nei dati di addestramento, nei metodi di ragionamento o nella comprensione del compito.
Il fenomeno è emerso anche nella generazione di codice. Nelle prove in cui la correttezza veniva verificata eseguendo i programmi prodotti, il 7,9% delle attività ha generato un fallimento simultaneo di tutti i modelli. In questi casi l’orchestrazione non disponeva di alcuna soluzione corretta da selezionare, indipendentemente dalla qualità del router o dal numero di sistemi coinvolti.
La struttura della richiesta può modificare sensibilmente il fallimento congiunto. Nei test basati sul benchmark scientifico GPQA Diamond, la trasformazione dei quesiti da risposta multipla a risposta libera ha portato il tasso di errore simultaneo al 12,7%. Eliminando le opzioni predefinite, i modelli hanno dovuto generare autonomamente la soluzione, facendo emergere una maggiore sovrapposizione delle difficoltà.
Questo risultato mostra che il limite dell’orchestrazione non dipende soltanto dalla complessità dell’argomento. Anche il formato dell’output richiesto influenza la capacità dei modelli di produrre risposte complementari. Un sistema può riconoscere correttamente una soluzione tra diverse alternative, ma non essere in grado di ricostruirla senza indicazioni. La valutazione di un’architettura multi-modello deve quindi riprodurre fedelmente il modo in cui il sistema verrà utilizzato in produzione.
Il fallimento congiunto non è l’unico limite. Anche quando almeno un modello fornisce la risposta corretta, il sistema deve riuscire a identificarlo. Questo passaggio è affidato al router, che può utilizzare classificatori, valutatori automatici, regole, punteggi di confidenza o metadati sul tipo di richiesta. Se i segnali disponibili non permettono di distinguere la risposta corretta da quelle errate, il vantaggio teorico della combinazione rimane inutilizzato.
Il divario tra la precisione massima teoricamente raggiungibile e quella ottenuta realmente misura quindi il problema del routing. Un basso tasso di fallimento congiunto indica che, per molte domande, almeno uno dei modelli sa produrre la soluzione corretta. Non significa però che l’orchestratore sappia sempre riconoscerla. Le prestazioni possono essere bloccate sia dall’assenza di una risposta corretta sia dall’incapacità di selezionarla.
La votazione a maggioranza non risolve necessariamente il problema. Quando vengono combinati modelli con livelli di qualità molto diversi, più sistemi meno accurati possono concordare su una risposta sbagliata e superare numericamente il modello migliore. Nei test, la combinazione tramite maggioranza di modelli con prestazioni disomogenee ha ridotto la precisione media di circa dieci punti percentuali.
Per ottenere risultati migliori non basta quindi aumentare il numero dei partecipanti. Occorre selezionare modelli con prestazioni comparabili e, soprattutto, con errori realmente complementari. Un modello aggiuntivo è utile quando risolve richieste sulle quali gli altri falliscono, non semplicemente quando proviene da un diverso fornitore o utilizza una diversa denominazione commerciale.
Le combinazioni di modelli con capacità simili hanno mostrato in alcuni casi risultati migliori rispetto al Self-Mixture of Agents, una tecnica che interroga più volte lo stesso modello e aggrega le risposte ottenute. Il vantaggio deriva dalla diversità effettiva tra i sistemi, ma rimane limitato dalla capacità di individuare il modello corretto per ciascun compito. Senza un segnale di routing sufficientemente affidabile, superare il singolo modello con le prestazioni migliori resta difficile.
Prima di sviluppare router complessi o infrastrutture multi-agente, le aziende possono stimare il potenziale reale della combinazione utilizzando i risultati dei test già disponibili. È sufficiente individuare gli esempi sui quali tutti i modelli falliscono e calcolare un intervallo statistico, per esempio attraverso il metodo Clopper-Pearson, che consenta di stimare il limite massimo della precisione raggiungibile.
Questo controllo può essere integrato nelle pipeline di integrazione continua. Quando viene aggiunto un nuovo modello, cambia un prompt o viene aggiornato il dataset di valutazione, il sistema può ricalcolare automaticamente il tasso di fallimento congiunto. In questo modo è possibile stabilire prima della distribuzione se la nuova configurazione offre un margine realistico di miglioramento o aumenta soltanto costi, latenza e complessità operativa.
Nelle attività con risultati verificabili, come la produzione di SQL, la generazione di JSON, l’estrazione di informazioni da documenti o l’esecuzione di codice, il miglior modello singolo può risultare più efficiente di un insieme di modelli meno costosi. L’orchestrazione introduce infatti più chiamate, un livello aggiuntivo di selezione e tempi di risposta superiori, senza garantire un incremento dell’accuratezza.
La convenienza può essere diversa nelle attività aperte, come la scrittura creativa o la generazione di proposte di marketing, dove non esiste una sola risposta corretta e la diversità degli output può rappresentare un valore. In questi contesti, tuttavia, non è sufficiente misurare l’accuratezza tradizionale: servono criteri capaci di valutare qualità, varietà, aderenza al tono e utilità delle alternative prodotte.
L’orchestrazione multi-modello deve quindi essere considerata una scelta ingegneristica da verificare sperimentalmente, non una garanzia automatica di maggiore affidabilità. Prima di costruire un sistema più complesso, è necessario misurare quanto spesso i modelli sbagliano insieme, quale margine di miglioramento rimane disponibile e se il router possiede informazioni sufficienti per sfruttarlo. Quando i sistemi condividono gli stessi limiti, aumentare il numero di modelli significa soprattutto moltiplicare le chiamate senza superare il vero ostacolo alla precisione.