Monte Carlo Data, azienda con sede a San Francisco specializzata in soluzioni automatizzate di monitoraggio dei dati, ha annunciato oggi l’aggiunta di nuove integrazioni e funzionalità alla sua piattaforma per estendere la portata e supportare i team nello sviluppo di prodotti di intelligenza artificiale robusti e sicuri.
Durante l’evento annuale IMPACT, l’azienda ha rivelato che presto aggiungerà supporto per Pinecone e altri database vettoriali, migliorando la capacità delle imprese di monitorare i grandi modelli linguistici che sono essenziali per i loro servizi.
Ha introdotto anche un’integrazione con Apache Kafka, la piattaforma open source per il processing di dati in streaming in tempo reale, e due nuove soluzioni di monitoraggio dei dati: il Performance Monitoring e la Data Product Dashboard.
Questi nuovi strumenti di monitoraggio sono già disponibili, mentre le integrazioni verranno lanciate agli inizi del 2024, come confermato dalla società.
Al giorno d’oggi, i database vettoriali sono fondamentali per le applicazioni LLM performanti, memorizzando rappresentazioni numeriche di dati non strutturati che potenziano i modelli AI. Fornitori come MongoDB, DataStax, Weaviate, Pinecone, RedisVector, SingleStore e Qdrant offrono queste soluzioni per facilitare la costruzione degli LLM.
Tuttavia, se i dati nei database vettoriali diventano inaffidabili, possono compromettere l’accuratezza dei risultati del modello AI. L’integrazione di Monte Carlo Data, prevista per l’inizio del 2024 con supporto iniziale per Pinecone, mira a garantire l’affidabilità di queste informazioni vettoriali.
Con questa integrazione, gli utenti possono utilizzare le funzioni avanzate di monitoraggio di Monte Carlo Data per identificare e correggere problemi di qualità dei dati, assicurando così prestazioni ottimali delle applicazioni LLM.
Nonostante nessun cliente utilizzi attualmente l’integrazione del database vettoriale, c’è una lista di aziende interessate. “Per ogni integrazione e funzionalità che sviluppiamo, collaboriamo stretti con i clienti per assicurare un monitoraggio significativo dei database vettoriali che si integri con le loro strategie AI generative”, ha dichiarato un portavoce dell’azienda a VentureBeat.
Un’integrazione simile è stata sviluppata per Apache Kafka, permettendo ai team di assicurarsi che i dati in streaming siano di qualità per i modelli AI e ML in tempo reale.
“La nostra nuova integrazione Kafka dà ai team di dati la sicurezza nell’affidabilità dei loro flussi di dati in tempo reale, essenziali per i loro servizi e applicazioni,” ha affermato Lior Gavish, cofondatore e CTO di Monte Carlo Data.
Oltre alle integrazioni, l’azienda ha presentato il monitoraggio delle prestazioni e una dashboard per i prodotti dati, permettendo ai clienti di identificare problemi di prestazioni e garantire l’affidabilità delle loro risorse dati.
Questo focus sull’osservabilità arriva mentre l’interesse per l’intelligenza artificiale generativa cresce, con le aziende che utilizzano strumenti come il servizio Azure OpenAI per sviluppare applicazioni LLM.
Concorrenti come Acceldata si stanno muovendo nella stessa direzione, puntando sull’osservabilità dei dati per l’AI, con l’acquisizione di Bewgle per potenziare le loro offerte.
“Le pipeline di dati che alimentano i dashboard analitici sono le stesse che sosterranno i prodotti AI delle aziende nei prossimi anni… per ottenere il massimo dall’AI, è essenziale avere un flusso di dati di alta qualità,” ha detto Rohit Choudhary, CEO di Acceldata.
Tra gli altri concorrenti nel settore dell’osservabilità dei dati ci sono Cribl e BigEye, che si contendono il mercato con Monte Carlo Data.