Perché un particolare modello di intelligenza artificiale generativa produce allucinazioni quando viene fornito un suggerimento apparentemente tipico? Spesso è una domanda sconcertante a cui è difficile rispondere.
Galileo, una startup di intelligenza artificiale con sede a San Francisco, si impegna ad assistere i suoi utenti nella comprensione e nella spiegazione più approfondita dell’output generato dai grandi modelli linguistici (LLM). Oggi ha annunciato una serie di nuove funzionalità di monitoraggio e metrica come parte di un aggiornamento per Galileo LLM Studio, inizialmente annunciato a giugno. Fondata da ex dipendenti di Google, Galileo ha raccolto un finanziamento di 18 milioni di dollari per contribuire a portare l’intelligenza dei dati nell’ambito dell’intelligenza artificiale.
Galileo Studio offre ora agli utenti la possibilità di valutare i suggerimenti e il contesto di tutti gli input, ma anche di monitorare gli output in tempo reale. Grazie a queste nuove funzionalità di monitoraggio, l’azienda afferma di poter fornire una migliore comprensione delle ragioni alla base dei risultati generati dal modello, introducendo nuove metriche e barriere per l’ottimizzazione dei LLM.
“La vera innovazione degli ultimi due mesi è stata l’aggiunta del monitoraggio in tempo reale, che consente di osservare direttamente cosa sta andando storto”, ha dichiarato Vikram Chatterji, co-fondatore e CEO di Galileo, in un’intervista esclusiva a VentureBeat. “Il prodotto è ora diventato un ciclo completo per il miglioramento continuo delle applicazioni basate su grandi modelli linguistici.”
I moderni LLM solitamente si basano sull’uso di chiamate API da parte di un’applicazione al modello per ottenere una risposta.
Chatterji ha spiegato che Galileo intercetta ora queste chiamate API sia per l’input che per l’output generato dal modello. Grazie ai dati intercettati, Galileo è in grado di fornire agli utenti informazioni quasi in tempo reale sulle prestazioni del modello e sulla precisione dei risultati.
Misurare la precisione di un output generato dall’IA spesso solleva il problema delle allucinazioni, quando l’output non rispecchia accuratamente i fatti.
L’intelligenza artificiale generativa per il testo con modelli di trasformazione funziona prevendo la prossima parola corretta in una sequenza di parole. Questo avviene utilizzando pesi e punteggi del modello, generalmente nascosti all’utente finale.
“Essenzialmente, il LLM cerca di prevedere la probabilità della parola successiva”, ha detto Chatterji. “Tuttavia, tiene anche conto delle possibili parole alternative e assegna probabilità a tutte queste diverse opzioni.”
Galileo si collega direttamente al modello stesso per ottenere visibilità sulle probabilità effettive delle parole, fornendo ulteriori parametri per spiegare i risultati del modello e comprendere le cause di eventuali allucinazioni.
Fornendo queste informazioni, Chatterji ha affermato che l’obiettivo è aiutare gli sviluppatori a migliorare e adattare i modelli per ottenere risultati migliori. Galileo non solo quantifica il potenziale per allucinazioni, ma aiuta anche a visualizzare in modo dettagliato quali parole o suggerimenti hanno confuso il modello, passo dopo passo.
Il rischio che un’applicazione basata su LLM possa generare una risposta problematica, a causa di imprecisioni linguistiche o divulgazione di informazioni riservate, è un motivo di preoccupazione per molti sviluppatori, secondo Chatterji.
Tuttavia, identificare la causa delle allucinazioni e fornire parametri relativi a esse è solo parte della soluzione. Pertanto, l’aggiornamento di Galileo Studio include anche nuove metriche “guardrail”. In ambito di intelligenza artificiale, un guardrail è una limitazione che stabilisce cosa il modello può generare in termini di informazioni, tono e linguaggio.
Chatterji ha osservato che, soprattutto nel settore dei servizi finanziari e dell’assistenza sanitaria, le normative riguardano le informazioni divulgate e il linguaggio utilizzato. Grazie alle metriche guardrail, gli utenti di Galileo possono stabilire e monitorare i loro propri limiti per assicurarsi che il LLM non si allontani mai dai parametri desiderati.
Un’altra metrica monitorata da Galileo è quella che Chatterji chiama “groundedness” (radicamento), che determina se l’output del modello è coerente con i dati di addestramento forniti.
Ad esempio, Chatterji ha spiegato che se un modello viene addestrato sui documenti dei mutui ipotecari, ma fornisce una risposta su un argomento completamente estraneo a tali documenti, Galileo può rilevarlo tramite la metrica del radicamento. Questo permette agli utenti di valutare se una risposta sia effettivamente pertinente al contesto dell’addestramento del modello.
Nonostante le somiglianze, la metrica delle allucinazioni di Galileo esamina la sicurezza del modello nella sua risposta e identifica parole specifiche che possono causare incertezza, misurando la fiducia del modello e la potenziale confusione.
Al contrario, la metrica del radicamento verifica se l’output del modello è effettivamente radicato nei dati di addestramento. Anche se il modello sembra sicuro, la sua risposta potrebbe comunque essere fuori contesto rispetto all’ambito dell’addestramento.
“Quindi ora disponiamo di una serie di parametri che consentono agli utenti di avere una comprensione più dettagliata di ciò che sta accadendo nell’output del modello”, ha concluso Chatterji.