New Relic, la piattaforma di osservabilità all-in-one per ogni ingegnere, ha recentemente lanciato New Relic AI Monitoring (AIM), la prima soluzione APM del settore specificamente progettata per applicazioni basate sull’intelligenza artificiale. AIM segna l’ingresso di New Relic nel mondo dell’osservabilità dell’IA, offrendo agli ingegneri una visibilità e approfondimenti senza precedenti sui loro stack di applicazioni AI. Questa innovazione semplifica la risoluzione dei problemi e ottimizza le applicazioni AI in termini di prestazioni, qualità, costi e uso responsabile dell’IA. Con oltre 50 integrazioni e funzionalità come il tracciamento delle risposte dei Large Language Model (LLM) e il confronto tra modelli, AIM supporta i team nello sviluppo e gestione sicura delle applicazioni basate su LLM.
Le applicazioni basate sull’intelligenza artificiale introducono nuove complessità nelle organizzazioni. Componenti AI come i Large Language Models (LLM) e i database vettoriali spesso si comportano come scatole nere per gli ingegneri, potenzialmente portando a risultati inaccurati, problemi di sicurezza e generando grandi quantità di dati di telemetria che richiedono monitoraggio e analisi. AIM affronta queste sfide fornendo osservabilità end-to-end per qualsiasi applicazione AI. Gli ingegneri ottengono una visione unica per risolvere, confrontare e ottimizzare diversi prompt e risposte LLM, affrontando problemi di prestazioni, costi, sicurezza e qualità, inclusi allucinazioni, bias, tossicità e accuratezza. Questa soluzione offre agli ingegneri una visibilità completa su tutti i componenti dello stack AI, servizi e infrastruttura, fornendo i dati necessari per un uso responsabile dell’IA e per dimostrare la loro conformità alle future normative sull’IA.
Stephen Elliot, vicepresidente di IDC, sottolinea l’importanza di integrare applicazioni AI nei stack tecnologici per migliorare le esperienze dei clienti e l’efficienza, con la speranza di aumentare i profitti. Tuttavia, riconosce le complessità introdotte dall’AI e la necessità di un’adozione responsabile tenendo conto della sicurezza, della qualità, della conformità e dei costi. L’osservabilità nelle applicazioni AI è un modo intelligente ed efficiente per affrontare queste complessità, consentendo alle aziende di scalare e guidare l’innovazione.
Manav Khurana, Chief Product Officer di New Relic, osserva che i carichi di lavoro AI sono ora parte integrante delle architetture applicative delle organizzazioni moderne. Attraverso il monitoraggio dell’IA, New Relic sfrutta la sua profonda esperienza, dall’invenzione dell’APM nel cloud, per fornire visibilità end-to-end nelle applicazioni basate sull’IA, aiutando le aziende a gestire le prestazioni, i costi e l’uso responsabile dell’IA.
Le caratteristiche principali e i casi d’uso di AIM di New Relic includono:
- Strumentazione Automatica: Gli agenti New Relic sono dotati di tutte le funzionalità AIM, offrendo visibilità completa dello stack AI, tracciamento delle risposte, confronto tra modelli e altro ancora per una configurazione semplice e rapida.
- Visibilità Completa dello Stack AI: Fornisce una visione olistica dell’applicazione, dell’infrastruttura e del livello AI, inclusi parametri AI come qualità della risposta e token, insieme ai segnali d’oro APM.
- Approfondimenti sul Tracciamento Approfondito di Ogni Risposta LLM: Traccia il ciclo di vita di risposte LLM complesse create con strumenti come LangChain per affrontare problemi di prestazioni e problemi di qualità come bias, tossicità e allucinazioni.
- Confronta Prestazioni e Costi: Monitora l’utilizzo, le prestazioni, la qualità e i costi di tutti i modelli in una sola visualizzazione; ottimizza l’utilizzo con approfondimenti sui prompt richiesti con maggiore frequenza, catena di pensiero, modelli di prompt e cache.
- Consentire un Uso Responsabile dell’Intelligenza Artificiale: Garantisce un utilizzo sicuro e responsabile dell’IA verificando che le risposte siano opportunamente contrassegnate come generate dall’IA e siano prive di pregiudizi, tossicità e allucinazioni, utilizzando informazioni dettagliate sulla traccia delle risposte.
- Monitora Istantaneamente il Tuo Ecosistema AI: Offre la soluzione più completa per monitorare l’intero stack di qualsiasi ecosistema AI con oltre 50 integrazioni e procedure di avvio rapido, inclusi:
- Quadro di Orchestrazione: LangChain
- LLM: OpenAI, PaLM2, HuggingFace
- Librerie di Machine Learning: Pytorch, TensorFlow
- Servizio di Modelli: Amazon SageMaker, AzureML
- Database Vettoriali: Pinecone, Weaviate, Milvus, FAISS
- Infrastruttura AI: Azure, AWS, GCP
Edo Liberty, Fondatore e CEO di Pinecone, nota l’integrazione del database vettoriale Pinecone con il monitoraggio AI di New Relic, fornendo trasparenza e informazioni utili per aiutare gli sviluppatori a creare migliori applicazioni di ricerca e intelligenza artificiale generativa nelle aziende. La domanda di database vettoriali è in aumento poiché le aziende sviluppano e distribuiscono applicazioni IA, formando una parte cruciale dello stack IA. Ora gli sviluppatori possono creare soluzioni di ricerca e IA generativa migliori garantendo risposte pertinenti e rapide insieme alle loro pratiche di osservabilità dell’IA.