Patronus AI, una startup con sede a San Francisco, ha recentemente introdotto una piattaforma self-service progettata per rilevare e prevenire in tempo reale gli errori generati dai modelli di intelligenza artificiale (IA), comunemente noti come “allucinazioni”. Questi errori possono manifestarsi quando un chatbot descrive con sicurezza un prodotto inesistente, un sistema finanziario inventa dati di mercato o un assistente sanitario fornisce consigli medici pericolosi.
Secondo Anand Kannappan, CEO di Patronus AI, molte aziende stanno affrontando problemi legati a fallimenti dell’IA in produzione, tra cui allucinazioni, vulnerabilità di sicurezza e comportamenti imprevedibili. Ricerche recenti dell’azienda hanno rivelato che modelli IA avanzati, come GPT-4, riproducono contenuti protetti da copyright nel 44% dei casi quando sollecitati, e generano risposte non sicure in oltre il 20% dei test di sicurezza di base.
La soluzione proposta da Patronus AI introduce diverse innovazioni che potrebbero rimodellare il modo in cui le aziende implementano l’IA. Una delle caratteristiche più significative è la funzione “judge evaluators”, che consente alle aziende di creare regole personalizzate in linguaggio naturale. Varun Joshi, responsabile del prodotto presso Patronus AI, ha spiegato che questa funzione permette ai clienti di scrivere in inglese ciò che desiderano valutare e verificare. Ad esempio, una società di servizi finanziari potrebbe specificare regole riguardanti la conformità normativa, mentre un fornitore di servizi sanitari potrebbe concentrarsi sulla privacy dei pazienti e sull’accuratezza medica.
Il fulcro del sistema è Lynx, un modello avanzato di rilevamento delle allucinazioni che supera GPT-4 dell’8,3% nell’identificazione di inesattezze mediche. La piattaforma opera a due velocità: una versione a risposta rapida per il monitoraggio in tempo reale e una versione più approfondita per analisi dettagliate. Le versioni più leggere possono essere integrate direttamente nei flussi di lavoro dei clienti, mentre quelle più approfondite offrono valutazioni più complete.