Nell’ambito dell’intelligenza artificiale (IA), le “allucinazioni” rappresentano risposte generate dai modelli che, sebbene possano sembrare plausibili, sono prive di fondamento reale. Questi fenomeni hanno causato problemi significativi in vari settori, portando a sanzioni legali e obbligando le aziende a onorare politiche inesistenti. Per affrontare questa sfida, Oumi, un’azienda di sviluppo open-source, ha introdotto HallOumi, un modello innovativo di verifica delle affermazioni progettato per migliorare l’affidabilità dei sistemi di IA nelle imprese.
Oumi, acronimo di Open Universal Machine Intelligence, è stata fondata con l’obiettivo di rendere l’IA accessibile e trasparente. Il 2 aprile, l’azienda ha rilasciato HallOumi, un modello open-source di verifica delle affermazioni che analizza il contenuto generato dall’IA su base frase per frase. Questo approccio consente di determinare se le affermazioni fatte dall’IA sono supportate da evidenze concrete presenti nei documenti di riferimento.
HallOumi esamina ogni frase dell’output dell’IA confrontandola con il documento sorgente fornito. Per ogni frase analizzata, il sistema restituisce:
- Punteggio di Confidenza: Indica la probabilità che l’affermazione sia un’allucinazione.
- Citazioni Specifiche: Fornisce riferimenti diretti alle parti del documento che supportano o confutano l’affermazione.
- Spiegazioni Comprensibili: Offre dettagli sul motivo per cui un’affermazione è considerata supportata o meno, aiutando gli utenti a comprendere le sfumature del ragionamento del modello.
Questo livello di dettaglio facilita la verifica manuale, riducendo il tempo necessario per esaminare l’intero documento e aumentando la fiducia nell’output dell’IA.
HallOumi è progettato per integrarsi facilmente nei flussi di lavoro aziendali esistenti. Le imprese possono utilizzare il modello tramite un’interfaccia demo online o integrarlo attraverso un’API per una verifica automatizzata in tempo reale. Essendo open-source, le organizzazioni hanno la possibilità di adattare HallOumi alle proprie esigenze specifiche, eseguendolo localmente o nel cloud, e utilizzandolo con qualsiasi modello di linguaggio di grandi dimensioni (LLM).
Rispetto ad approcci come il Retrieval Augmented Generation (RAG) e le “guardrails” (barriere di sicurezza), HallOumi offre un’analisi più dettagliata e trasparente. Mentre RAG si concentra sulla fornitura di contesti rilevanti durante la generazione, e le guardrails applicano verifiche binarie, HallOumi valuta ogni frase individualmente, fornendo punteggi di confidenza e spiegazioni che facilitano la comprensione e la verifica.
La capacità di verificare e convalidare l’output dell’IA è fondamentale per le imprese che desiderano adottare soluzioni di IA generativa in ambienti sensibili. HallOumi affronta direttamente le preoccupazioni legate alle allucinazioni, offrendo uno strumento che aumenta la fiducia e l’affidabilità dei sistemi di IA. La sua natura open-source consente alle aziende di personalizzare e adattare il modello alle proprie esigenze, accelerando l’adozione dell’IA in vari settori.