La sfida delle allucinazioni legate all’intelligenza artificiale costituisce una notevole barriera nell’adozione dell’intelligenza artificiale aziendale. Nessuna organizzazione desidera ottenere risultati imprecisi dai propri sforzi di intelligenza artificiale generativa.
Vectara, un’organizzazione emersa nell’ottobre 2022 sotto la guida di uno dei co-fondatori di Cloudera, un fornitore di Big Data, è tra le pioniere nell’affrontare il problema delle allucinazioni nell’intelligenza artificiale.
A maggio, l’azienda ha aggiornato la sua piattaforma di intelligenza artificiale generativa introducendo una funzionalità di ricerca che mira a fornire risultati di recupero di generazione aumentata (RAG) basati sul contenuto.
Oggi, Vectara compie un passo avanti nel suo impegno per ridurre il rischio di allucinazioni legate all’intelligenza artificiale con l’introduzione della sua nuova tecnologia chiamata Boomerang. L’azienda descrive Boomerang come un modello di recupero delle informazioni neurali. Boomerang introduce un nuovo approccio alla generazione degli incorporamenti di vettori, che costituiscono la base dei grandi modelli linguistici (LLM), consentendo una maggiore precisione e una riduzione delle allucinazioni.
Amin Ahmad, co-fondatore e CTO di Vectara, spiega: “Boomerang è progettato per svolgere una funzione di recupero. Quando l’utente invia una query in una base di conoscenza, le informazioni rilevanti vengono recuperate dalla base stessa, proprio come un boomerang che torna indietro.”
Nella struttura di Boomerang, il blocco di codifica converte il testo in vettori/incorporamenti che rappresentano il significato del testo, mentre il blocco di generazione, che segue, è il LLM che produce l’output finale in base alla richiesta dell’utente e ai dati recuperati.
L’adozione del motore Boomerang renderà la piattaforma GenAI di Vectara più precisa e si baserà sulla filosofia di generazione terrestre dell’azienda.
Amr Awadallah, co-fondatore e CEO di Vectara, spiega il concetto di generazione terrestre: “Il principio fondamentale della generazione terrestre consiste nel prendere i dati e inserirli in uno speciale database vettoriale o spazio di significato, come lo chiamiamo. Se non si riesce a mappare correttamente i dati in questo spazio di significato, quando arriva la domanda dell’utente, si otterranno risposte errate.”
Boomerang rappresenta il nuovo modello sviluppato da Vectara per generare incorporamenti vettoriali che rappresentano il significato delle parole, indipendentemente dalla lingua. La creazione di questi incorporamenti vettoriali è un elemento fondamentale e comune tra i principali fornitori di LLM. Ad esempio, OpenAI ha sviluppato i propri modelli di incorporamento vettoriale, che sono stati costantemente migliorati nel tempo.
Awadallah sottolinea che Boomerang rappresenta un aggiornamento significativo rispetto ai precedenti motori dell’azienda, consentendo un livello più elevato di qualità e precisione negli incorporamenti vettoriali. Il vantaggio principale per le aziende è la possibilità di ottenere risultati di migliore qualità.
“Ora, grazie a Boomerang, abbiamo informazioni molto migliori, migliorando tutti gli aspetti. La probabilità di allucinazioni diminuisce, e la spiegabilità dei risultati diventa molto più chiara”, afferma Awadallah.
Il processo di sviluppo di Boomerang è stato complesso e ha coinvolto l’applicazione di numerose nuove tecniche, oltre a una maggiore varietà e diversità di dati di addestramento, come spiega Ahmad. Vectara intende anche pubblicare documenti di ricerca dettagliati che descrivono le nuove e uniche tecniche utilizzate per abilitare l’approccio di incorporamento vettoriale di Boomerang.
Awadallah conclude sottolineando che l’azienda ha compiuto notevoli progressi attraverso la ricerca, l’esperimento e l’innovazione per sviluppare Boomerang, rendendolo in grado di superare le aziende più avanzate in questo settore.
Vectara afferma che Boomerang è in grado di superare altri modelli più grandi nel recupero multilingue e di comprendere meglio i contenuti in centinaia di lingue e dialetti. Nonostante i notevoli progressi, l’azienda riconosce che ci sono ancora sfide da superare, poiché l’obiettivo è di ridurre le allucinazioni quanto più possibile.
Awadallah conclude: “Non vogliamo allucinazioni, vogliamo il 0%, quindi continueremo la nostra ricerca per ridurre significativamente le allucinazioni, un aspetto fondamentale per le aziende.”