Elastic sta ampliando le capacità della propria tecnologia di ricerca aziendale con il lancio di Elasticsearch Relevance Engine (ESRE), che sfrutta l’intelligenza artificiale (AI) e la ricerca vettoriale per migliorare la pertinenza delle ricerche e supportare le iniziative di intelligenza artificiale generativa.
Nell’arco dell’ultimo decennio, Elastic ha sviluppato la propria tecnologia aziendale Elasticsearch, basandosi sul progetto di ricerca e indicizzazione dei dati open source Apache Lucene. A partire da febbraio 2022, l’azienda ha introdotto una preview del supporto per l’incorporamento di vettori, che ha permesso a Elasticsearch di fungere da database vettoriale, un componente fondamentale nell’ambito dell’IA.
Grazie alle nuove funzionalità di ESRE, Elasticsearch offre ora un supporto vettoriale più ampio. Inoltre, Elastic sta integrando il proprio modello di rete neurale trasformatore in ESRE per migliorare i risultati delle ricerche semantiche.
Attraverso ESRE, le aziende saranno in grado di utilizzare i propri modelli trasformatore, come ad esempio GPT-4 di OpenAI, per ottenere i vantaggi dell’IA generativa all’interno dei contenuti di Elasticsearch.
“ESRE è l’occasione per combinare tutte queste tecnologie sottostanti per la pertinenza delle ricerche in un’unica soluzione coesa”, ha dichiarato Matt Riley, Direttore Generale della Ricerca Aziendale presso Elastic, a VentureBeat.
Nell’ultimo decennio, Elasticsearch ha utilizzato l’algoritmo BM25f per classificare e valutare i documenti al fine di fornire risultati pertinenti alle query di ricerca.
Con l’introduzione della ricerca vettoriale all’interno di ESRE, le aziende possono ora eseguire ricerche utilizzando sia BM25f che vettori. I vettori assegnano una rappresentazione numerica al contenuto, e la rilevanza viene determinata trovando numeri vicini tra loro attraverso metodi come l’approssimazione di vicinato (ANN).
“La nostra priorità principale in Elastic è fornire ai clienti i migliori metodi per ottenere documenti pertinenti dalla vasta quantità di dati archiviati in Elasticsearch, sia tramite ricerca vettoriale che ricerca testuale utilizzando BM25f, o una combinazione ibrida dei due”, ha affermato Riley.
Sebbene l’introduzione della ricerca vettoriale possa migliorare la pertinenza, le aziende necessitano di ulteriori elementi per ottenere risultati migliori dalle query basate sul testo. In questo contesto, Elastic ha sviluppato un nuovo modello trasformatore che utilizza una tecnica chiamata modello di codifica tardiva, una forma di codifica sparsa. Tale modello è in grado di comprendere il testo e aiutare le aziende a ottenere risultati molto precisi dalle query.
“I modelli di interazione tardiva sono particolarmente abili nell’eseguire il recupero semantico su testi su cui il modello non è stato specificamente addestrato”, ha affermato Riley.
Attraverso ESRE, Elastic apre anche Elasticsearch per consentire alle aziende di utilizzare i propri modelli di intelligenza artificiale per ottenere informazioni dai dati.
Come parte di ESRE, Elastic supporta l’integrazione con OpenAI e il suo GPT-4 LLM, che permetterà alle organizzazioni di sfruttare la potenza dell’IA generativa all’interno dei contenuti di Elasticsearch. Inoltre, le organizzazioni potranno utilizzare l’LLM open source di Hugging Face per riassumere testi, analizzare il sentiment e rispondere a domande.
Riley ha osservato che consentire alle organizzazioni di connettersi a OpenAI e ad altri LLM significa creare un collegamento tra i dati all’interno di Elasticsearch e i modelli LLM, che non avrebbero potuto essere addestrati sui dati privati.
“Sono molto entusiasta di vedere la trasformazione di questi modelli trasformatore”, ha detto Riley. “È una categoria completamente nuova di cose che le persone inizieranno a creare ora che abbiamo queste nuove capacità”.