OpenAI utilizza centinaia di collaboratori esterni per leggere e valutare conversazioni reali di ChatGPT all’interno di un programma interno denominato Project Lily. I revisori, indicati come prompt reviewer, analizzano conversazioni anonimizzate degli utenti e giudicano la qualità delle risposte prodotte dal modello, fornendo feedback utilizzato per migliorarne il comportamento. L’attività comprende conversazioni complete e non soltanto singoli prompt isolati e rappresenta una delle componenti umane impiegate nel processo di perfezionamento dei sistemi ChatGPT.
Il lavoro dei revisori consiste principalmente nel verificare se la risposta del modello affronta correttamente la richiesta dell’utente e se il modo in cui viene formulata rispetta le caratteristiche comportamentali definite da OpenAI. Tra gli aspetti valutati figurano espressioni considerate eccessivamente tipiche di un assistente AI, tono paternalistico o didattico non richiesto, uso eccessivo di emoji e risposte troppo compiacenti nei confronti dell’utente. Uno degli obiettivi specifici è ridurre la cosiddetta sycophancy, cioè la tendenza del modello ad assecondare automaticamente opinioni, affermazioni o aspettative dell’interlocutore invece di rispondere in modo indipendente e accurato.
Un altro criterio riguarda l’antropomorfizzazione del modello. I revisori possono considerare appropriato che ChatGPT descriva un’operazione effettivamente svolta, come la ricerca di informazioni, ma devono penalizzare formulazioni che suggeriscono esperienze personali o caratteristiche umane inesistenti. Espressioni nelle quali il sistema si presenta come un professionista dotato di esperienza diretta o afferma di comprendere una sensazione perché l’avrebbe provata personalmente rientrano quindi tra i comportamenti da correggere.
Project Lily è distinto dai processi dedicati alla verifica della sicurezza delle conversazioni. L’attività non consiste principalmente nell’individuare contenuti pericolosi e non rappresenta neppure una verifica sistematica dell’accuratezza fattuale di ogni risposta. Errori particolarmente evidenti possono essere segnalati, ma il compito centrale dei reviewer riguarda la qualità della risposta, lo stile, l’aderenza alla richiesta e il comportamento generale del modello. Le revisioni costituiscono quindi un livello differente sia dai controlli di safety sia dai processi specificamente dedicati alla valutazione dei fatti.
Il sistema utilizza conversazioni sottoposte a un processo di anonimizzazione prima che vengano mostrate ai collaboratori. I reviewer non ricevono il nome utente dell’account ChatGPT e OpenAI applica procedure destinate a rimuovere le informazioni personali dai contenuti utilizzati per queste attività. L’anonimizzazione, tuttavia, non garantisce che ogni informazione identificativa venga eliminata in tutti i casi. In particolare, conversazioni brevi o contenuti nei quali manca un contesto sufficiente possono conservare nomi o altre informazioni che i sistemi automatici non riescono a riconoscere correttamente come dati personali.
Le informazioni visualizzate dai revisori possono comprendere anche elementi contestuali associati alla conversazione. Tra questi possono comparire riepiloghi della memoria dell’utente, utilizzati per aiutare il sistema a comprendere interessi, preferenze e contesto delle richieste. Questi riepiloghi possono a loro volta contenere dettagli personali ricavati dalle precedenti interazioni, comprese potenzialmente informazioni sulla posizione o altri elementi forniti dall’utente durante l’utilizzo di ChatGPT.
La presenza di revisori umani assume particolare rilievo perché ChatGPT viene utilizzato anche per conversazioni molto personali. Gli utenti possono inserire informazioni relative al lavoro, alle relazioni, alle proprie difficoltà o ad altre circostanze private e non necessariamente associano l’uso dei dati per il miglioramento dei modelli alla possibilità che parti delle conversazioni vengano effettivamente esaminate da una persona. OpenAI aveva già indicato nelle proprie informative che il contenuto dei servizi consumer può essere utilizzato per migliorare i modelli e che tali processi possono comprendere forme di revisione umana, ma Project Lily rende più concreto il funzionamento operativo di questa componente.
Per gli account consumer, l’utilizzo delle conversazioni per il miglioramento dei modelli dipende dalle impostazioni dell’utente. In ChatGPT è possibile disattivare l’opzione “Migliora il modello per tutti” nei controlli dei dati. Una volta effettuata la disattivazione, le nuove conversazioni continuano a comparire nella cronologia, ma non vengono utilizzate per l’addestramento dei modelli. L’impostazione viene applicata all’account e quindi ai diversi dispositivi sui quali viene utilizzato ChatGPT.
Un’alternativa è rappresentata dalle chat temporanee. Le conversazioni avviate in questa modalità non vengono aggiunte alla cronologia, non utilizzano o creano memoria e non vengono impiegate per addestrare i modelli. Anche chi ha disabilitato globalmente l’addestramento può comunque decidere volontariamente di fornire un feedback su una risposta attraverso i relativi controlli; in questo caso la conversazione associata al feedback può essere utilizzata per migliorare i modelli.
Le regole sono differenti per i servizi destinati alle aziende. OpenAI non utilizza per impostazione predefinita input e output di ChatGPT Business, ChatGPT Enterprise e della piattaforma API per addestrare i propri modelli. Le organizzazioni che utilizzano questi servizi possono eventualmente scegliere esplicitamente di condividere determinati dati, ma il comportamento predefinito è quindi diverso da quello previsto per i servizi rivolti ai consumatori.
Il ricorso a revisori umani non è esclusivo di OpenAI. Anche Google informa gli utenti di Gemini che alcune conversazioni salvate possono essere analizzate da revisori umani per sviluppare e migliorare i servizi. Prima di essere fornite ai service provider, queste conversazioni vengono scollegate dall’account, ma Google avverte gli utenti di non inserire informazioni riservate che non vorrebbero fossero viste da un reviewer quando l’impostazione di salvataggio dell’attività è attiva. Anthropic ha a sua volta confermato l’utilizzo della revisione umana in alcuni processi destinati al miglioramento dei modelli Claude.
Project Lily mostra quindi una parte meno visibile del processo di sviluppo dei chatbot generativi: oltre all’addestramento su grandi dataset, ai benchmark automatici e alle tecniche di reinforcement learning, il comportamento quotidiano degli assistenti viene affinato anche attraverso valutazioni effettuate da persone su esempi di utilizzo reale. I reviewer servono a identificare caratteristiche qualitative difficili da misurare automaticamente, come un tono eccessivamente compiacente, formulazioni innaturali o un’eccessiva antropomorfizzazione, mentre il trattamento delle conversazioni utilizzate per questo tipo di valutazione rende particolarmente rilevanti anonimizzazione, controlli dei dati e possibilità di opt-out da parte degli utenti.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)