Elastic ha presentato oggi una nuova tecnologia chiamata Search AI Lake, che rivoluziona il modo in cui gestisce i dati per l’intelligenza artificiale generativa, l’osservabilità e la sicurezza.
Fondata principalmente sulla tecnologia di ricerca ElasticSearch, Elastic si è distinta nel campo dell’open source con Apache Lucene. Tuttavia, nel 2024, le applicazioni di Elastic si sono ampliate oltre la ricerca tradizionale, includendo anche l’osservabilità e la sicurezza. Inoltre, l’azienda si sta sempre più inserendo nei flussi di lavoro dell’intelligenza artificiale generativa. Nel maggio 2023, ha lanciato ElasticSearch Relevance Engine (ESRE) per migliorare i risultati della ricerca, combinando la potenza della ricerca vettoriale con quella tradizionale.
Finora, lo storage e l’elaborazione per le distribuzioni Elastic sono spesso stati legati insieme, il che potrebbe limitare la scalabilità. Tuttavia, la nuova tecnologia Search AI Lake separa lo storage dall’elaborazione, consentendo una maggiore scalabilità senza compromettere le prestazioni delle query, sia per i dati normali che per quelli vettoriali utilizzati nell’intelligenza artificiale generativa. Oltre a Search AI Lake, Elastic sta lanciando nuove offerte serverless per la ricerca aziendale, l’osservabilità e la sicurezza, basate su questa tecnologia. Attualmente, Search AI Lake e le offerte serverless sono in fase di anteprima tecnica.
Secondo Ash Kulkarni, CEO di Elastic, questa separazione tra archiviazione, acquisizione e query consente di creare un’architettura serverless flessibile, utilizzando Amazon S3 come principale archivio per Elastic. Questo approccio nativo alla scalabilità rende possibile l’espansione illimitata.
Kulkarni ha sottolineato che l’approccio di Elastic con Search AI Lake è unico rispetto ad altri fornitori, poiché offre funzionalità di ricerca direttamente nel data lake, consentendo l’esplorazione e l’interrogazione dei dati in tempo reale, senza schemi predefiniti. Inoltre, ha evidenziato le prestazioni rapide delle query e la scalabilità garantite dalla separazione tra storage e caching.
Search AI Lake supporta nativamente i vettori densi e offre funzionalità cruciali come la ricerca ibrida e il ranking di pertinenza, fondamentali per l’intelligenza artificiale generativa e altre applicazioni avanzate.
Un aspetto unico di Search AI Lake è il suo utilizzo dell’Elastic Common Schema (ECS) per la gestione dei dati, eliminando la necessità di formati di tabella data lake come Apache Iceberg o Apache Hudi. ECS consente di rendere tutto facilmente ricercabile senza la necessità di metadati specifici o schemi predefiniti.
Inoltre, Elastic ha contribuito ECS alla Cloud Native Computing Foundation (CNCF) per diventare uno schema standard aperto per l’osservabilità e la sicurezza nel cloud.
In sintesi, l’obiettivo principale di Search AI Lake è di abilitare i casi d’uso dell’intelligenza artificiale generativa e della ricerca vettoriale, fornendo un’architettura flessibile, scalabile e altamente performante per l’analisi dei dati.
Elastic ha registrato una forte adozione da parte dei clienti della sua piattaforma per applicazioni di intelligenza artificiale generativa. Kulkarni ha osservato che negli ultimi trimestri Elastic ha aggiunto centinaia di nuovi clienti che utilizzano la piattaforma dell’azienda per casi d’uso RAG.