Patronus AI, fondata da Anand Kannappan e Rebecca Qian, esperti di metamachine learning (ML), ha sviluppato una piattaforma innovativa per valutare automaticamente gli output dei modelli di linguaggio LLM.
L’obiettivo è individuare allucinazioni, violazioni del copyright e problemi di sicurezza senza richiedere intervento umano. Utilizzando l’intelligenza artificiale proprietaria, il sistema valuta le performance del modello, stress testa con casi contraddittori e effettua benchmarking dettagliato.
Recentemente, la Silicon Valley ha assistito a una corsa verso l’utilizzo di potenti LLM come GPT-4 di OpenAI e Llama 3 di Meta. Tuttavia, sono emersi anche numerosi fallimenti dei modelli di alto profilo. CNET ha segnalato errori in articoli generati dall’intelligenza artificiale, mentre aziende farmaceutiche hanno ritirato documenti di ricerca basati su composti allucinati da LLM.
Secondo Patronus AI, questi errori evidenziano problematiche più profonde con la generazione attuale di LLM. Le loro ricerche precedenti, come l’API “CopyrightCatcher” e il benchmark “FinanceBench”, hanno evidenziato carenze nella capacità dei modelli di rispondere correttamente alle domande basate sui fatti.
Per esempio, con “FinanceBench”, Patronus ha posto domande finanziarie ai modelli utilizzando i documenti SEC pubblici. Tuttavia, il modello più performante è stato in grado di rispondere correttamente solo al 19% delle domande. Inoltre, con l’API “CopyrightCatcher”, hanno scoperto che gli LLM open source replicavano testo protetto da copyright nel 44% degli output.