WhyLabs, una startup con sede a Seattle, ha appena annunciato il lancio di LangKit, una tecnologia open source che offre strumenti di monitoraggio per applicazioni di intelligenza artificiale e dati. Questa nuova soluzione aiuta le aziende a sorvegliare e proteggere i loro modelli di linguaggio di grandi dimensioni (LLM). LangKit consente agli utenti di individuare e prevenire rischi e problematiche all’interno degli LLM, come linguaggio tossico, perdita di dati, allucinazioni e jailbreak.
Il cofondatore e CEO di WhyLabs, Alessya Visnjic, ha affermato che questo prodotto è stato progettato per assistere le aziende nel monitorare il funzionamento dei loro sistemi di intelligenza artificiale, in modo da individuare eventuali problemi prima che possano avere un impatto sui clienti o gli utenti.
LangKit si basa su due principi fondamentali: l’open source e l’estensibilità. Visnjic ritiene che, sfruttando la comunità open source e creando una piattaforma estensibile, WhyLabs possa rimanere al passo con l’evoluzione del panorama dell’IA e soddisfare le diverse esigenze dei clienti, soprattutto in settori come l’assistenza sanitaria e il fintech, che richiedono standard di sicurezza più elevati.
LangKit fornisce una serie di metriche, tra cui analisi del sentiment, rilevamento della tossicità, estrazione dell’argomento, valutazione della qualità del testo, rilevamento delle informazioni personali (PII) e rilevamento del jailbreak. Queste metriche aiutano gli utenti a convalidare e proteggere i prompt e le risposte dei modelli, valutare la conformità del comportamento dei LLM rispetto ai criteri stabiliti, monitorare le interazioni degli utenti in applicazioni basate su LLM e condurre test A/B su diverse versioni di LLM e prompt.
LangKit è relativamente facile da utilizzare e si integra con diverse piattaforme e framework popolari, inclusi OpenAI GPT-4, Hugging Face Transformers, AWS Boto3 e altri. Gli utenti possono iniziare con poche righe di codice Python e utilizzare la piattaforma per tenere traccia delle metriche nel tempo, impostare avvisi e regole di sicurezza. Inoltre, gli utenti hanno la possibilità di personalizzare ed estendere LangKit con i propri modelli e metriche per adattarlo ai loro specifici casi d’uso.
I primi utenti hanno elogiato le metriche pronte all’uso, la facilità d’uso e le funzionalità plug-and-play offerte dalla soluzione, secondo Visnjic. Queste caratteristiche sono state particolarmente apprezzate dalle parti interessate nei settori regolamentati, poiché LangKit fornisce informazioni comprensibili sui modelli di linguaggio, agevolando così una conversazione più accessibile sulla tecnologia.
LangKit si basa sul feedback e sulla collaborazione dei clienti di WhyLabs, che vanno dalle aziende Fortune 100 alle startup AI emergenti in diversi settori. Questo feedback ha aiutato a perfezionare il prodotto e i primi ad adottare LangKit includono Symbl.AI e Tryolabs. Entrambe le aziende hanno fornito un prezioso feedback per migliorare il prodotto. Tryolabs, focalizzata sull’adozione di modelli di linguaggio di grandi dimensioni, offre informazioni su una varietà di casi d’uso. Symbl.AI, invece, utilizza LangKit per monitorare la propria applicazione basata su LLM in produzione.
LangKit è stato specificamente sviluppato per gestire sistemi ad alto rendimento, in tempo reale e automatizzati, che richiedono una vasta gamma di metriche e avvisi per monitorare il comportamento e le prestazioni dei LLM. A differenza dell’approccio comune basato sull’incorporamento per il monitoraggio e la valutazione dei LLM, LangKit adotta un approccio basato sulle metriche, che si adatta meglio a casi d’uso scalabili e operativi.
LangKit sarà integrato nella piattaforma di osservabilità AI di WhyLabs, che offre anche soluzioni per il monitoraggio di altri tipi di applicazioni AI, come incorporamenti, prestazioni del modello e deriva dei dati non strutturati.
WhyLabs è stata fondata nel 2019 da ex ingegneri di Amazon Machine Learning ed è sostenuta da AI Fund di Andrew Ng, Madrona Venture Group, Defy Partners e Bezos Expeditions. La società ha anche beneficiato dell’incubazione presso l’Allen Institute for Artificial Intelligence (AI2).
LangKit è ora disponibile come libreria open source su GitHub e come soluzione SaaS sul sito web di WhyLabs. Gli utenti possono anche consultare un notebook dimostrativo e un video panoramico per scoprire ulteriori dettagli sulle funzionalità e le capacità di LangKit.