Google Research ha presentato Agile Deliberation, un framework interattivo progettato per costruire classificatori di immagini basati su categorie la cui definizione dipende dal giudizio umano, dal contesto culturale o dalle regole adottate da una specifica organizzazione. Il sistema utilizza modelli visivo-linguistici per assistere gli operatori nella definizione progressiva dei criteri di classificazione, sostituendo la preparazione di un prompt statico con un processo nel quale le regole possono essere continuamente esaminate e modificate. Il progetto è accompagnato dal rilascio del codice open source e di un notebook dimostrativo. Tra gli esempi considerati figurano il riconoscimento di alimenti salutari, l’identificazione di immagini artistiche considerate stimolanti e la moderazione di contenuti visivi che promettono premi o ricompense in modo fuorviante. In queste applicazioni non esiste necessariamente una separazione oggettiva e universale tra esempi positivi e negativi: due persone possono classificare diversamente la stessa immagine e un operatore può modificare la propria interpretazione dopo aver esaminato casi difficili. Agile Deliberation è stato sviluppato per rendere esplicita questa evoluzione dei criteri, trasformandola in una specifica comprensibile agli esseri umani e utilizzabile direttamente come istruzione per il classificatore AI.
La progettazione del framework si basa su interviste condotte con cinque professionisti della moderazione dei contenuti e sull’analisi qualitativa di 20 definizioni provenienti dai rispettivi processi lavorativi. Google Research ha osservato che gli esperti tendono inizialmente a delimitare il significato generale di una categoria, per poi precisarlo attraverso l’esame di immagini vicine al confine tra ciò che deve essere incluso e ciò che deve essere escluso. Il sistema riproduce questa procedura mediante due fasi denominate Concept Scoping e Concept Iteration. Durante la prima fase, una definizione iniziale viene scomposta in sottocategorie positive e negative, ciascuna accompagnata da immagini rappresentative. Nel caso di un classificatore per gli alimenti salutari, l’operatore può decidere di includere insalate e piatti a base di cereali, escludendo alimenti altamente trasformati o ingredienti crudi non ancora preparati. Le sottocategorie che non corrispondono a caratteristiche visive effettivamente riconoscibili possono essere eliminate, evitando di inserire nella specifica condizioni che il classificatore non sarebbe in grado di verificare attraverso le immagini.
La fase Concept Iteration concentra l’attenzione sulle immagini semanticamente ambigue, selezionate non soltanto in base all’incertezza numerica espressa dal modello, ma anche alla loro capacità di mettere in discussione le regole definite dall’utente. Google Research osserva infatti che il livello di confidenza di un modello visivo-linguistico non coincide necessariamente con l’ambiguità percepita da una persona. Il sistema può attribuire un punteggio elevato a una classificazione che un operatore considera controversa, oppure manifestare incertezza su un caso il cui trattamento è già chiaramente definito. Per questo motivo Agile Deliberation recupera immagini prossime ai confini semantici della categoria, elimina i duplicati e organizza gli esempi in gruppi. Un meccanismo basato su multi-armed bandit privilegia progressivamente i gruppi che, nelle iterazioni precedenti, hanno prodotto correzioni degli errori o osservazioni particolarmente utili per perfezionare la definizione. La procedura non si limita quindi a cercare casi difficili per il modello, ma tenta di individuare quelli capaci di migliorare la comprensione dei criteri decisionali dell’utente.
Un ulteriore passaggio, denominato ambiguity mining, organizza gruppi di immagini attorno a una singola questione interpretabile. Per la classificazione degli alimenti, il sistema può presentare esempi relativi alla presenza di salse cremose, alla quantità apparente di zucchero oppure alle dimensioni delle porzioni, accompagnandoli con una breve spiegazione del motivo per cui possono essere ambigui. L’operatore indica quali immagini rientrano nella categoria e quali devono essere escluse, potendo aggiungere motivazioni formulate in linguaggio naturale. Il framework genera successivamente definizioni alternative che incorporano le nuove indicazioni e le confronta con tutte le etichette raccolte fino a quel momento. La variante con il migliore punteggio F1 viene proposta all’utente, che può comunque modificarla manualmente prima di proseguire. Questa verifica cumulativa permette di controllare se la correzione di un caso ambiguo produca un peggioramento della classificazione di esempi precedentemente esaminati. Il prototipo utilizza Gemini 2.5 Pro per scomporre i concetti iniziali e Gemini 2.5 Flash per la classificazione, la generazione delle richieste relative ai casi borderline e l’individuazione delle ambiguità. I modelli vengono utilizzati senza ulteriori fasi di addestramento o fine-tuning.
La valutazione sperimentale ha coinvolto nove partecipanti privi di esperienza professionale nella moderazione dei contenuti, ciascuno impegnato in due sessioni di circa 90 minuti. Ogni partecipante ha utilizzato Agile Deliberation in una sessione e una procedura manuale di perfezionamento dei prompt nell’altra, con ordine dei sistemi randomizzato. I concetti selezionati per la prova erano la classificazione degli alimenti salutari e l’identificazione di immagini clickbait di tipo pay-to-play. Ogni sessione comprendeva circa 45 minuti dedicati alla definizione della categoria, la classificazione di 200 immagini di test precedentemente escluse dallo sviluppo, un questionario e un’intervista finale di 15 minuti. Il confronto ha considerato anche una procedura zero-shot, nella quale il modello riceve una definizione senza un processo di perfezionamento, e Modeling Collaborator, un sistema di riferimento che automatizza la scomposizione dei concetti. Ai partecipanti impegnati nella procedura manuale era consentito consultare le istruzioni dettagliate generate da quest’ultimo sistema.
Per la categoria pay-to-play, Agile Deliberation ha prodotto un miglioramento del punteggio F1 dell’11% rispetto alla propria configurazione zero-shot, mentre la deliberazione manuale ha ottenuto un incremento dell’8% rispetto alla rispettiva configurazione iniziale. Nella classificazione degli alimenti salutari, il miglioramento è stato del 10% con Agile Deliberation, contro una diminuzione del 3% osservata con il perfezionamento manuale. Gli incrementi sono derivati principalmente da una maggiore precisione, accompagnata da riduzioni più contenute del richiamo, o recall. I ricercatori non hanno utilizzato l’accuratezza complessiva come indicatore principale, poiché le definizioni personalizzate dai singoli partecipanti producevano distribuzioni sbilanciate tra esempi positivi e negativi. Tutti i partecipanti hanno espresso una preferenza per Agile Deliberation rispetto alla procedura manuale. Il livello medio di impegno percepito è stato valutato a 3,11 con il nuovo sistema e a 4,67 con il metodo manuale, mentre i punteggi relativi a insicurezza, stress o irritazione sono risultati rispettivamente pari a 1,67 e 3,00. Entrambe le differenze soggettive sono state indicate come statisticamente significative con p inferiore a 0,05.
I risultati devono essere interpretati considerando le dimensioni limitate dello studio. I nove partecipanti rappresentano un campione ridotto e ogni persona ha utilizzato i due sistemi su concetti differenti per evitare che una definizione già elaborata influenzasse la sessione successiva. Questo disegno permette di confrontare direttamente le esperienze soggettive dei partecipanti, ma richiede di confrontare le prestazioni dei classificatori tra gruppi differenti. Lo studio non ha inoltre isolato l’effetto di ciascuna componente del framework e non ha verificato l’intera procedura utilizzando famiglie di modelli generativi diverse da quelle selezionate per il prototipo. Il codice pubblicato comprende il dataset di accompagnamento e il notebook Demo.ipynb, eseguibile mediante Jupyter o Google Colab. La dimostrazione costruisce un indice di recupero dei vicini più prossimi utilizzando LAION400M e, nella configurazione predefinita, scarica due partizioni di dati per circa 260 MB, sufficienti a verificare il funzionamento della pipeline. La configurazione documentata con 100 partizioni richiede invece circa 13 GB. Il recupero delle immagini, le richieste ai modelli e le operazioni di indicizzazione possono richiedere da alcuni secondi a diversi minuti, mentre l’utilizzo di una singola chiave API può essere soggetto a limitazioni del numero di chiamate. Diverse fasi supportano la memorizzazione su disco per evitare elaborazioni ripetute. Il repository precisa che si tratta di un progetto di ricerca e non di un prodotto Google ufficialmente supportato. Agile Deliberation rende così disponibile un metodo sperimentale per costruire classificatori nei quali la definizione delle categorie rimane verificabile, modificabile e strettamente collegata alle decisioni espresse dagli operatori umani.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)