Mentre ci avviciniamo alla fine del 2023, l’intelligenza artificiale generativa (LLM) è diventata un argomento di grande rilevanza. Tuttavia, le aziende stanno ancora cercando di identificare i migliori casi d’uso per questa tecnologia. Inoltre, ci sono alcune sfide comuni associate agli LLM, come le allucinazioni, la difficoltà di rimanere aggiornati e la suscettibilità all’iniezione di prompt, che ne limitano l’adozione aziendale.
Per superare tali problemi e rimuovere gli ostacoli che impediscono alle imprese di adottare gli LLM, molte aziende si sono assunte la responsabilità di creare “guardrail” che guidino l’uso responsabile di queste potenti reti neurali linguistiche. Ad esempio, OpenAI ha implementato un endpoint di moderazione dei contenuti per impedire la generazione di contenuti offensivi o odiosi tramite le sue API. Allo stesso modo, l’SDK NeMo Guardrails di NVIDIA offre una protezione più completa contro le lacune degli LLM.
Tuttavia, rapporti recenti hanno evidenziato alcune carenze nell’SDK NeMo Guardrails di NVIDIA. Nonostante sia possibile estendere le funzionalità dei guardrail, è evidente che stiamo ancora lavorando per rendere gli LLM sicuri per l’uso aziendale. Stiamo solo iniziando a sviluppare un ecosistema di strumenti che rendano gli LLM più adatti alle esigenze delle imprese. La domanda è se tutto ciò sarà sufficiente a stimolare l’adozione degli LLM nel contesto aziendale.
Recentemente è stato rilasciato un toolkit chiamato LangKit, che consente di monitorare e valutare i risultati degli LLM. Questo toolkit di monitoraggio fornisce una serie di metriche che consentono di valutare la qualità dei testi di input o output generati da vari chatbot basati su LLM, come Bing Chat, GPT-4, Baidu e Google Bard. Inoltre, LangKit si integra con altri ecosistemi, come Hugging Face e LangChain.
Il toolkit LangKit è stato reso open source da un’azienda chiamata WhyLabs, che sta costruendo una piattaforma di osservabilità AI per le imprese. Attraverso la piattaforma WhyLabs, le aziende possono rilevare più rapidamente i problemi legati all’apprendimento automatico e distribuire i modelli in modo continuo. La piattaforma offre anche funzionalità come il rilevamento di valori anomali, il monitoraggio della deriva dei dati e una forte attenzione alla privacy dei dati.
Questo rende LangKit l’ultima aggiunta al puzzle della piattaforma WhyLabs, che già ospita una serie di carichi di lavoro per l’osservabilità dell’IA aziendale. Il toolkit fornisce maggiore visibilità su ciò che gli LLM stanno facendo durante la distribuzione e include anche misure preventive per proteggersi da utenti malintenzionati.
LangKit è in grado di proteggere gli LLM dalle allucinazioni, dalla tossicità, dai prompt dannosi e persino dai tentativi di jailbreak. Monitora una varietà di metriche, come la qualità del testo, la pertinenza del testo, la sicurezza e la privacy complessive degli LLM e il sentimento del testo.
Per garantire la sicurezza, LangKit utilizza un algoritmo di punteggio di somiglianza per confrontare l’input dell’utente con i tentativi di jailbreak noti e gli attacchi di prompt injection. Se il punteggio supera una soglia predefinita, l’input viene rifiutato. Inoltre, il toolkit controlla una serie di metriche per garantire che gli LLM funzionino secondo le specifiche.
LangKit è solo uno dei numerosi strumenti che le aziende possono utilizzare per rendere i propri modelli LLM più sicuri. Man mano che l’adozione aziendale avanza, vediamo sempre più prodotti che mitigano gli svantaggi dell’implementazione degli LLM.
Gli LLM sono creature esigenti da gestire. A causa del loro processo di addestramento e dei dati di input, allinearli con precisione è una sfida complessa. Gli LLM sono stati criticati come “generatori di sciocchezze” o “pappagalli stocastici” che non comprendono appieno il linguaggio naturale ma sanno come manipolarlo.
Questa serie di vulnerabilità ha portato a eventi come la chiusura di LLM in pochi giorni, controversie legate a chatbot con comportamenti sbilanciati e addirittura il crollo del prezzo delle azioni. Date le sfide associate all’implementazione di un LLM in un ambiente aziendale, non sorprende che i responsabili delle decisioni siano cauti nell’adozione di questa nuova tecnologia.
Soluzioni come LangKit, NeMo Guardrails e le numerose altre aziende emergenti nel campo della sicurezza e dell’osservabilità dell’IA sono esattamente ciò di cui le aziende hanno bisogno per adottare gli LLM. Questi strumenti, insieme alle piattaforme di osservabilità AI, possono aiutare le aziende ad adottare gli LLM evitando il rischio di risultati non conformi alle aspettative.
Anche se le piattaforme di osservabilità dell’IA, offerte da aziende come IBM, WhyLabs e Fiddler, sono ancora relativamente poche, rappresentano un importante collegamento tra i processi aziendali e gli LLM, offrendo una maggiore trasparenza durante l’implementazione di questi modelli. Se combinati con i guardrail, questi strumenti possono formare un insieme tecnologico solido per l’implementazione degli LLM aziendali.
La futura crescita dell’ecosistema di sicurezza per gli LLM diventerà uno dei principali fattori che spingeranno i leader aziendali a tenersi al passo con i tempi e ad adottare tempestivamente questa nuova tecnologia. Tuttavia, le aziende devono anche assicurarsi di rimanere al passo con le piattaforme di osservabilità dell’IA e i guardrail per implementare gli LLM in modo sicuro e responsabile.