Amazon ha deciso di bloccare dal 30 luglio le nuove iscrizioni a Mechanical Turk, la piattaforma di crowdsourcing lanciata nel 2005 per distribuire online attività semplici, ripetitive o difficili da automatizzare e affidarle a lavoratori remunerati per singolo compito. Gli utenti già attivi potranno continuare a utilizzare il servizio, mentre AWS ha comunicato che proseguiranno gli interventi relativi a sicurezza e stabilità, senza introdurre nuove funzionalità.
Mechanical Turk ha rappresentato per anni una delle principali infrastrutture per la raccolta di dati umani destinati alla ricerca e allo sviluppo dell’intelligenza artificiale. Attraverso la piattaforma, aziende, università e laboratori potevano pubblicare Human Intelligence Tasks, cioè micro-attività che richiedevano giudizio umano, come la classificazione di immagini, la verifica di testi, l’analisi del sentiment, la trascrizione di contenuti, il controllo di risultati prodotti da sistemi automatici e la compilazione di questionari. Il modello era basato sull’idea che una grande quantità di lavoratori distribuiti potesse svolgere rapidamente compiti troppo variabili o ambigui per essere risolti in modo affidabile da un software.
Con la crescita del machine learning, Mechanical Turk è diventato uno strumento centrale per costruire dataset annotati. Le immagini dovevano essere associate a oggetti, categorie o attributi; le frasi venivano etichettate per tono, intenzione o contenuto; le risposte generate dai modelli venivano valutate da persone incaricate di indicare accuratezza, utilità, sicurezza o coerenza. Dal 2018, anche l’integrazione con Amazon SageMaker aveva rafforzato il ruolo della piattaforma nel ciclo di preparazione dei dati per l’addestramento delle reti neurali, rendendo il lavoro umano una componente direttamente collegata ai processi cloud di sviluppo dell’AI.
L’arrivo dei modelli linguistici generativi ha però modificato la qualità e l’affidabilità di questo tipo di raccolta dati. In molti incarichi che richiedevano una classificazione testuale, la riscrittura di una frase, una sintesi, la valutazione di un contenuto o la generazione di una risposta, i lavoratori hanno iniziato a utilizzare strumenti basati su LLM per completare il compito. Una ricerca pubblicata nel 2023 aveva stimato che una quota compresa tra il 33% e il 46% dei lavoratori di Mechanical Turk utilizzasse modelli linguistici per svolgere le attività assegnate, introducendo un problema diretto per chi acquistava lavoro umano come fonte di valutazione indipendente.
Quando un dataset viene commissionato per ottenere annotazioni, giudizi o risposte prodotte da persone, l’impiego non dichiarato di un modello generativo può compromettere la natura stessa del dato raccolto. I risultati possono riflettere le tendenze, gli errori ricorrenti, le semplificazioni linguistiche e i bias del modello utilizzato dal lavoratore, anziché offrire una valutazione umana autonoma. Il rischio diventa ancora più rilevante quando i dati ottenuti attraverso il crowdsourcing vengono riutilizzati per addestrare o valutare altri sistemi AI, perché contenuti generati artificialmente possono rientrare nei dataset senza essere identificati e contribuire a una progressiva contaminazione del materiale di training.
La difficoltà non riguarda soltanto l’uso di chatbot da parte dei lavoratori. Nel tempo sono aumentati anche bot automatici, account falsi, attività fraudolente e meccanismi progettati per completare rapidamente grandi volumi di microtask senza rispettare i requisiti qualitativi richiesti. Per ricercatori e imprese, verificare che una persona reale abbia eseguito un’attività e che il risultato non sia stato prodotto da un sistema automatico è diventato sempre più complesso, soprattutto quando il compito consiste in una breve risposta testuale o in una classificazione facilmente simulabile.
La sospensione delle nuove adesioni indica quindi il progressivo ridimensionamento di un modello che aveva avuto un ruolo decisivo nella prima fase dell’economia dei dati per l’AI. Mechanical Turk aveva reso disponibile una forza lavoro distribuita per attività che i computer non erano ancora in grado di svolgere con precisione sufficiente; oggi, gli stessi strumenti generativi che hanno bisogno di dati di qualità per essere addestrati stanno rendendo più difficile certificare l’origine umana di quelle annotazioni. La raccolta di dataset affidabili richiede procedure più rigorose di verifica, controlli sull’identità dei lavoratori, tracciabilità degli strumenti utilizzati e metodologie capaci di distinguere tra contenuto umano, contenuto assistito e contenuto generato integralmente dall’intelligenza artificiale.