Google ha pubblicato il 4 novembre 2026 un documento metodologico dedicato alla valutazione dei sistemi di intelligenza artificiale generativa general-purpose utilizzati in ambito sanitario. Il framework combina benchmark con risposte verificabili, sistemi automatici di valutazione basati su altri modelli AI e revisione da parte di esperti clinici, con l’obiettivo di esaminare non soltanto la correttezza delle informazioni prodotte, ma anche i rischi associati al loro utilizzo e la loro effettiva utilità per pazienti e operatori sanitari. Il lavoro è stato sviluppato dalla responsabile della valutazione clinica di Google for Health, Sarah Montgomery-Taylor, con il contributo di Elizabeth McGlynn e Dana Gelb Safran. La metodologia nasce dalla necessità di superare i sistemi di verifica costruiti per applicazioni altamente specializzate, poiché un modello generativo può essere impiegato contemporaneamente per interpretare sintomi, riassumere documentazione sanitaria, spiegare trattamenti o assistere il personale nella produzione di informazioni cliniche.
Il processo di valutazione prende avvio dalla ricostruzione del Critical User Journey, ossia della sequenza di interazioni attraverso cui una persona utilizza il sistema per raggiungere un determinato obiettivo. Questa fase identifica il tipo di utilizzatore, che può essere un paziente, un familiare, un medico oppure un operatore amministrativo, insieme alle attività previste, ai passaggi decisionali e alle possibili modalità di utilizzo improprio. Sono considerate anche situazioni nelle quali l’utente attribuisce al sistema capacità superiori a quelle previste oppure tenta di aggirarne i limiti di sicurezza. A partire da questa analisi vengono costruiti scenari rappresentativi e definiti gli indicatori di valutazione, organizzati in tre dimensioni: accuratezza, sicurezza e utilità. L’accuratezza comprende la conformità al consenso medico, il sostegno delle evidenze scientifiche, la correttezza fattuale, la qualità del ragionamento clinico e la pertinenza rispetto al contesto. La sicurezza riguarda invece la probabilità e la gravità delle conseguenze che potrebbero derivare dall’interpretazione delle risposte o dalla mancata esecuzione di azioni necessarie. L’utilità considera comprensibilità, pertinenza, completezza, alfabetizzazione sanitaria e possibilità di tradurre le informazioni in decisioni appropriate.
Per verificare questi aspetti Google propone una metodologia multilivello. I benchmark tradizionali, comprendenti domande a risposta chiusa e quesiti con soluzioni note, consentono di effettuare controlli sistematici sulle conoscenze di base, ma non riproducono necessariamente la complessità delle interazioni reali e possono risentire della presenza delle domande nei dati di addestramento. Una seconda componente utilizza valutatori automatici, o autorater, che applicano rubriche esplicite alle risposte generate e permettono di esaminare conversazioni aperte e scambi articolati su più turni. Questi valutatori devono essere confrontati con riferimenti costruiti da esperti, poiché possono favorire risposte eccessivamente lunghe, introdurre preferenze per modelli della stessa famiglia o riprodurre errori presenti nelle annotazioni. La revisione clinica interviene soprattutto nei casi complessi, nelle situazioni limite e negli argomenti per i quali non esiste un consenso univoco. Il framework considera anche la variabilità dei giudizi umani, evidenziando che due medici possono divergere del 30-40% o più nelle valutazioni di uno stesso compito.
Una componente specifica riguarda il red teaming, utilizzato per verificare la resistenza dei sistemi a richieste manipolative, simulazioni di situazioni emotive e tentativi di ottenere risposte che superino l’ambito clinico autorizzato. La valutazione viene inoltre distribuita lungo l’intero ciclo di vita del prodotto. Prima del rilascio si esaminano le capacità generali del modello e le caratteristiche dell’applicazione, mentre le fasi successive possono comprendere sperimentazioni in modalità shadow, progetti pilota clinici e distribuzioni progressive. Dopo l’introduzione operativa diventano necessari controlli sulla deriva algoritmica, sulla stabilità del sistema e sulle modalità effettive di utilizzo. Le soglie di accettazione devono essere stabilite congiuntamente da sviluppatori e specialisti in funzione dei rischi dell’applicazione, senza affidarsi a punteggi universali. Il monitoraggio non può inoltre dipendere esclusivamente dai reclami degli utilizzatori o dalla segnalazione di eventi avversi, perché i comportamenti reali possono differire dagli scenari utilizzati nei test. Il framework riconosce infine la necessità di affrontare problemi ancora aperti relativi alla protezione dei dati, alla validazione indipendente, ai costi delle verifiche e alla distribuzione delle responsabilità tra sviluppatori e organizzazioni sanitarie.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)