Il fornitore di database in tempo reale, Rockset, sta ampliando le capacità del suo omonimo database con miglioramenti nella ricerca vettoriale e nella scalabilità.
Le radici del fondatore di Rockset risalgono all’origine del database open source RocksDB, creato su Meta (ex Facebook), e un’evoluzione di questa tecnologia sta aiutando a potenziare le capacità di indicizzazione in tempo reale di Rockset. La società ha raccolto un totale di 105 milioni di dollari in finanziamenti, incluso un round da 44 milioni di dollari annunciato ad agosto.
Con l’ultimo aggiornamento, Rockset si sta spingendo ulteriormente nell’ambito dell’intelligenza artificiale generativa, con la disponibilità generale (GA) della ricerca vettoriale come parte della sua piattaforma di database in tempo reale. Questa funzionalità di ricerca vettoriale era stata presentata in anteprima ad aprile ed è stata ulteriormente ampliata e migliorata fino a diventare ora completamente disponibile. La tecnologia ha già ottenuto un successo iniziale, con JetBlue come uno dei primi adottanti, utilizzando Rockset per fornire informazioni dettagliate sull’utilizzo del servizio.
Oltre all’aggiornamento della ricerca vettoriale, Rockset sta anche integrando lo strumento ampiamente utilizzato LangChain per l’orchestrazione dell’intelligenza artificiale e lo strumento di framework dei dati LlamaIndex.
Secondo Venkat Venkataramani, co-fondatore e CEO di Rockset, il supporto per la ricerca vettoriale sta diventando sempre più sofisticato e ora offre la possibilità di creare indici di somiglianza utilizzando il vicino più vicino approssimativo (ANN). Questo può essere fatto su larga scala e contemporaneamente con aggiornamenti in tempo reale sia per gli incorporamenti vettoriali che per i metadati.
Il mercato delle funzionalità di ricerca vettoriale è diventato molto competitivo nel 2023, con rappresentazioni numeriche dei dati (vettori) che svolgono un ruolo cruciale nell’alimentare modelli linguistici di grandi dimensioni. Sono emersi diversi database vettoriali specializzati, come Pinecone e Milvus, che si aggiungono alle tecnologie di database esistenti come DataStax, MongoDB e Neo4j.
Rockset si distingue per la sua capacità di aggiornare in tempo reale gli indici e gli incorporamenti dei vettori quando nuovi dati entrano nel database, con latenze di millisecondi. Questo è reso possibile grazie a un approccio chiamato “separazione calcolo-calcolo”, in cui le risorse di calcolo utilizzate per creare gli indici sono separate da quelle utilizzate per le query, consentendo l’indicizzazione in tempo reale e prestazioni elevate delle query.
Rockset utilizza sia l’approccio approssimativo del vicino più vicino (ANN) che l’approccio più preciso K Nearest Neighbor (KNN) a seconda della query e dei dati. Questo permette di combinare la ricerca vettoriale con altri filtri di metadati nelle query SQL di Rockset, garantendo risultati rapidi.
Nonostante le recenti innovazioni di OpenAI, Venkataramani ritiene che i database vettoriali rimarranno essenziali per set di dati molto grandi e complessi e per applicazioni aziendali più ampie e complesse, oltre ai chatbot di base. Gli sviluppi di OpenAI possono influire principalmente su chatbot di base e non sostituire completamente la necessità di database vettoriali per applicazioni più avanzate.
Venkataramani ritiene che i casi d’uso dei database vettoriali stiano evolvendo, ma rimangono fondamentali per supportare applicazioni di intelligenza artificiale di alta complessità e ricerca di similarità su larga scala.