Anthropic ha presentato uno studio sperimentale dedicato all’influenza degli agenti di intelligenza artificiale sulle decisioni metodologiche di analisti esperti, esaminando in particolare la possibilità che i professionisti adottino le preferenze espresse da un assistente AI senza riconoscere pienamente il peso di tale influenza. La ricerca, intitolata "Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls", ha coinvolto partecipanti impegnati in un’attività di analisi causale riguardante gli effetti di un programma agricolo sulla produttività. Il compito richiedeva di formulare una raccomandazione finale sulla prosecuzione del programma, affrontando quattro decisioni analitiche per le quali erano disponibili alternative metodologiche ragionevolmente difendibili.
Le decisioni riguardavano la misurazione della produttività in termini di resa per ettaro oppure di rendimento rispetto ai costi operativi, la scelta del metodo statistico di confronto, la definizione della popolazione sulla quale misurare gli effetti del programma e l’eventuale ponderazione dei risultati in funzione delle dimensioni delle aziende agricole. Ciascuna scelta poteva modificare di diversi punti percentuali la stima del miglioramento produttivo e influenzare il confronto con la soglia prevista per l’approvazione del programma. Per ogni decisione, i ricercatori assegnavano casualmente all’agente AI una preferenza tra le due opzioni, attraverso istruzioni di sistema non visibili ai partecipanti. Il modello era invitato a sostenere la propria scelta utilizzando argomentazioni coerenti con i dati disponibili, senza falsificare risultati né nascondere informazioni, e a modificarla qualora le evidenze fossero risultate chiaramente contrarie.
Dei 61 partecipanti che hanno completato l’attività, 11 non hanno utilizzato l’agente e sono stati esclusi dall’analisi principale. Il campione esaminato comprendeva quindi 50 analisti, dei quali il 65% possedeva un titolo universitario avanzato oppure almeno sei anni di esperienza professionale. Il 90% dei rispondenti al questionario si considerava competente o esperto nell’inferenza causale. L’attività si svolgeva in un ambiente VS Code accessibile via browser, utilizzando Claude Code 2.1.220 con Claude Opus 4.8 configurato con un livello elevato di elaborazione. Il tempo mediano necessario per completare il compito è stato di 65 minuti. La ricerca prevedeva un piano di analisi preregistrato e una revisione etica interna, con consenso dei partecipanti al monitoraggio delle attività.
I risultati mostrano che gli analisti hanno adottato l’opzione favorita dall’agente nell’86% delle decisioni, rispetto a una probabilità di riferimento del 50% associata all’assegnazione casuale delle preferenze. Le percentuali di corrispondenza nelle quattro decisioni sono state rispettivamente del 92%, 82%, 81% e 90%. La stima aggregata preregistrata dell’effetto ha raggiunto 0,72, con un intervallo di confidenza al 95% compreso tra 0,60 e 0,83. L’effetto sulla raccomandazione finale è risultato meno netto: il 54% ha raccomandato l’estensione del programma quando l’agente favoriva tale conclusione, contro il 36% quando l’agente propendeva per l’interruzione. La differenza, pari a 0,17 secondo lo stimatore principale, non ha raggiunto la significatività statistica prevista dal protocollo.
Un’analisi esplorativa ha tuttavia mostrato che le quattro preferenze assegnate casualmente agli agenti permettevano di prevedere l’82% delle raccomandazioni finali, rispetto a un riferimento del 61%. Nei 38 casi in cui l’analista aveva espresso una preferenza prima dell’agente, il 60% ha cambiato posizione quando l’AI ha manifestato disaccordo, contro il 6% quando le posizioni coincidevano. I questionari successivi hanno evidenziato anche una discrepanza tra influenza effettiva e percezione personale: il 52% ha considerato la raccomandazione finale prevalentemente propria, il 77% ha ripreso almeno una volta le argomentazioni dell’agente nelle motivazioni fornite e soltanto il 15% ha attribuito esplicitamente all’AI parte del ragionamento. Nessuna delle dieci caratteristiche individuali esaminate ha previsto in maniera affidabile la tendenza ad adottare le preferenze del modello. I risultati riguardano uno specifico compito sperimentale e non dimostrano che la stessa intensità di influenza si manifesti automaticamente in tutti i contesti professionali.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).