La startup di San Francisco Weights & Biases sta ampliando oggi la propria piattaforma con il lancio di nuove funzionalità progettate per semplificare la creazione e il monitoraggio dei modelli di machine learning (ML) per le organizzazioni.
La piattaforma di Weights & Biases include strumenti che abilitano un ciclo di vita completo dello sviluppo di intelligenza artificiale e machine learning. Alla fine di aprile, l’azienda ha introdotto nuovi strumenti per supportare e sviluppare grandi modelli linguistici (LLMops). Le nuove aggiunte annunciate oggi, W&B Weave e W&B Production Monitoring, mirano ad agevolare l’utilizzo dei modelli di intelligenza artificiale per i carichi di lavoro di produzione.
Weave, anche se annunciato ufficialmente oggi, ha già avuto un ruolo fondamentale nella costruzione della piattaforma generale di Weights & Biases, fornendo un toolkit per la visualizzazione dello sviluppo dell’IA. Weave è stato originariamente concepito come uno strumento per comprendere modelli e dati attraverso un’interfaccia utente visiva e iterativa. Possiamo considerare Weave come un kit di strumenti che offre componenti componibili per la creazione di applicazioni di intelligenza artificiale. Inoltre, Weave aiuta i data scientist a sviluppare visualizzazioni interattive dei dati.
Weave è stato il principale strumento utilizzato da Weights & Biases per sviluppare gli strumenti Prompts annunciati ad aprile ed è la base per i nuovi strumenti di monitoraggio della produzione. W&B Weave sfrutta tecniche e visualizzazioni all’avanguardia, facilitando agli sviluppatori l’esplorazione dei dati, la valutazione dei modelli e la sperimentazione degli elementi chiave del machine learning.
Weave è disponibile gratuitamente come strumento LLMOps open source, consentendo a chiunque di utilizzarlo per creare strumenti di intelligenza artificiale. Inoltre, è integrato nella piattaforma Weights & Biases, in modo che i clienti aziendali possano creare visualizzazioni come parte del loro flusso di lavoro complessivo di sviluppo di intelligenza artificiale.
Tuttavia, la creazione e l’implementazione di un modello di machine learning non rappresentano l’intero ciclo di vita dell’intelligenza artificiale. Il monitoraggio riveste un ruolo fondamentale. È qui che entra in gioco il servizio di monitoraggio della produzione di Weights & Biases.
Il servizio di monitoraggio della produzione è altamente personalizzabile per aiutare le organizzazioni a tenere traccia delle metriche che sono importanti per loro. Le metriche comuni per qualsiasi sistema di produzione riguardano solitamente la disponibilità, la latenza e le prestazioni. Nel caso di modelli linguistici, ci sono anche una serie di nuove metriche che le organizzazioni devono monitorare. Ad esempio, considerando che molte organizzazioni utilizzano modelli di terze parti che addebitano in base all’utilizzo delle API, è importante monitorare il numero di chiamate API effettuate per gestire i costi.
Con le distribuzioni di intelligenza artificiale non basate su modelli linguistici, il problema della deriva del modello è una sfida comune di monitoraggio, in cui le organizzazioni tracciano le deviazioni impreviste rispetto a una linea di base nel tempo. Con un modello linguistico, in particolare utilizzando l’intelligenza artificiale generativa, la deriva del modello non può essere facilmente monitorata.
Per esempio, se un modello generativo di intelligenza artificiale viene utilizzato per migliorare la scrittura di articoli, non ci sarebbe una singola misura o un numero che l’organizzazione potrebbe utilizzare per identificare la deriva o la qualità del modello.
Qui entra in gioco la natura personalizzabile del monitoraggio della produzione. Nell’esempio della scrittura di articoli, un’organizzazione potrebbe scegliere di monitorare quanti suggerimenti generati dall’intelligenza artificiale un utente effettivamente incorpora e quanto tempo impiega per ottenere il miglior risultato.
Il monitoraggio della produzione consente l’utilizzo di metriche in tempo reale, visualizzazioni rilevanti e query flessibili e dinamiche per soddisfare le esigenze specifiche di un’organizzazione.
Il monitoraggio può anche aiutare ad affrontare le allucinazioni dell’intelligenza artificiale. Un approccio sempre più comune per mitigare le allucinazioni è l’uso della generazione aumentata di recupero (RAG), che fornisce fonti per una parte specifica del contenuto generato.