Oggi, Databricks, un importante ecosistema di dati, ha annunciato una serie di nuovi strumenti RAG (retrieval augmented generation) per la sua piattaforma di data intelligence, con l’obiettivo di aiutare i clienti a creare, distribuire e mantenere applicazioni LLM di alta qualità per vari casi d’uso aziendali.
Disponibili in anteprima pubblica a partire da oggi, questi strumenti affrontano le sfide principali legate allo sviluppo di applicazioni RAG di livello produttivo. Ciò include l’accesso a dati aziendali rilevanti in tempo reale da diverse fonti, la combinazione di tali dati con il modello appropriato per l’applicazione mirata e il monitoraggio dell’applicazione per prevenire problemi come la tossicità e altri rischi spesso associati ai grandi modelli linguistici.
Craig Wiley, Senior Director del Prodotto per AI/ML presso Databricks, ha dichiarato a VentureBeat: “Sebbene ci sia un’urgenza nel creare e implementare applicazioni di generazione aumentata per il recupero, le organizzazioni stanno lottando per fornire soluzioni che garantiscono risposte costantemente accurate e di alta qualità, con adeguate barriere per prevenire risposte indesiderate e non conformi al brand”.
I nuovi strumenti di Databricks affrontano questa sfida in modo efficace. I modelli linguistici di grandi dimensioni sono molto diffusi, ma spesso contengono conoscenze parametrizzate, il che li rende efficaci nel fornire risposte rapide a domande generiche. Tuttavia, per renderli più adatti a casi specifici, soprattutto nell’ambito aziendale, si ricorre alla generazione aumentata di recupero o RAG. Questa tecnica si basa su fonti specifiche di dati per migliorare ulteriormente l’accuratezza e l’affidabilità del modello, migliorando complessivamente la qualità delle risposte. Si può immaginare un modello addestrato sui dati delle risorse umane per gestire varie richieste.
Tuttavia, la sfida con RAG sta nel coinvolgere diversi livelli di lavoro. È necessario raccogliere dati strutturati e non strutturati da vari sistemi, prepararli, combinarli con i modelli giusti, elaborare le risposte, monitorare e altro ancora. Questo processo frammentato spesso porta alla creazione di applicazioni RAG inefficienti.
Con i nuovi strumenti RAG nella sua piattaforma di Data Intelligence, Databricks affronta questa sfida, consentendo ai team di combinare tutti questi aspetti e prototipare rapidamente e mettere in produzione applicazioni RAG di alta qualità.
Ad esempio, con la nuova ricerca vettoriale e le funzionalità di distribuzione delle funzionalità, la complessità di creare pipeline complesse per il caricamento dei dati in una distribuzione personalizzata viene eliminata. I dati strutturati e non strutturati (da tabelle Delta) vengono automaticamente estratti e sincronizzati con l’app LLM, garantendo l’accesso alle informazioni aziendali più recenti e pertinenti per fornire risposte accurate e contestualmente sensibili.
Inoltre, Databricks offre l’API del modello di base, un set completamente gestito di modelli LLM erogati all’interno dell’infrastruttura di Databricks, che possono essere utilizzati con una struttura di pagamento basata sui token. Ciò offre vantaggi in termini di costi e flessibilità, insieme a una maggiore sicurezza dei dati.
Una volta che l’applicazione RAG è stata distribuita, il monitoraggio delle prestazioni in un ambiente di produzione su larga scala diventa essenziale. Qui entra in gioco la funzionalità completamente gestita di Lakehouse Monitoring di Databricks. Questo sistema può esaminare automaticamente le risposte dell’app per individuare eventuali contenuti non sicuri, come tossicità o contenuti inappropriati. Queste rilevazioni possono poi alimentare dashboard, sistemi di allarme e pipeline di dati, permettendo ai team di intervenire tempestivamente per prevenire problemi legati a contenuti indesiderati su larga scala.
Nonostante questi strumenti siano stati appena lanciati, diverse aziende, tra cui Lippert e EQT Corporation, li stanno già testando e utilizzando con successo sulla piattaforma Databricks Data Intelligence. Chris Nishnick, responsabile delle attività di dati e intelligenza artificiale presso Lippert, ha dichiarato che l’uso di Databricks ha migliorato notevolmente l’efficienza e l’esperienza del servizio clienti nella gestione di un call center dinamico.
I team interni di Databricks stessi hanno utilizzato questi strumenti per creare applicazioni RAG per migliorare le proprie operazioni interne. Ad esempio, hanno implementato un bot RAG per gli account executive e un plug-in per i rappresentanti delle vendite per accedere rapidamente a informazioni rilevanti.
Databricks ha annunciato di voler investire in modo significativo nella sua suite di strumenti RAG per garantire ai clienti la possibilità di distribuire applicazioni LLM di alta qualità su larga scala, basate sui propri dati in produzione. L’azienda continuerà a innovare e a cercare ulteriori miglioramenti in questo campo, al fine di soddisfare la crescente domanda di applicazioni LLM specifiche per vari argomenti e settori.