Ogni azienda che lavora nell’ambito dell’intelligenza artificiale vorrebbe sviluppare un chatbot come ChatGPT. Con il rilascio dell’API di OpenAI, il chatbot può essere integrato nei prodotti delle aziende, un vantaggio per molti sviluppatori e imprese. Tuttavia, costruire una tecnologia del genere richiede molte risorse.
Recentemente, Hugging Face ha pubblicato un blog che illustra l’integrazione del Transformer Reinforcement Learning (TRL) con il Parameter-Efficient Fine-Tuning (PEFT) per creare un Large Language Model (LLM) con circa 20 miliardi di parametri ottimizzabili su una GPU consumer da 24 GB. Il modello di Hugging Face combina LLM con RLHF, che è anche il potente approccio di ChatGPT.
Allo stesso modo, Colossal-AI ha creato il suo “ChatGPT personale” con meno risorse di calcolo, utilizzando una GPU di soli 1,62 GB di memoria. La loro implementazione era basata su PyTorch che copriva tutte e tre le fasi: pre-addestramento, addestramento del modello di ricompensa e apprendimento per rinforzo. La velocità era ancora più veloce di 10,3 volte con 8 miliardi di parametri su una singola GPU, che è molto più grande pur essendo più economica di una GPU A100 da 80 GB da $ 14.999.
Questi sviluppi risolvono una delle barriere più significative all’ingresso nello spazio dell’IA generativa: le risorse computazionali. Ora, le piccole e medie imprese possono costruire i propri modelli linguistici senza spendere una fortuna in risorse computazionali. Inoltre, le aziende possono adattare il chatbot alle loro esigenze specifiche, creando chatbot personalizzati che comprendono le sfumature del settore e rispondono a domande specifiche rilevanti per l’azienda. In questo modo, l’azienda può mantenere il pieno controllo sui dati raccolti dal chatbot.
Microsoft ha annunciato il servizio OpenAI che offre ChatGPT su Azure, mentre anche Salesforce, Forethought e Thoughtspot hanno rilasciato le loro beta offrendo servizi simili. Tuttavia, Hugging Face sembra avere maggiori promesse per il futuro. L’azienda riconosce che la velocità di addestramento è ancora lenta e che ci sono sfide riguardo l’espansione del modello a più GPU per il parallelismo dei dati. Ma questi sviluppi rappresentano il primo passo verso un futuro in cui le piccole e medie imprese possono costruire i propri chatbot personalizzati senza dover fare affidamento su fornitori di terze parti.
Inoltre, la creazione di chatbot personalizzati non solo consente alle aziende di avere il controllo sui dati raccolti, ma anche di fornire un’esperienza di conversazione più autentica e rilevante per i loro clienti. Con chatbot pre-addestrati di terze parti, le risposte possono essere troppo generiche e non sempre adatte alle esigenze specifiche dell’utente.
In generale, questi sviluppi indicano una crescente democratizzazione dell’IA generativa, che in passato era stata dominata solo dalle più grandi aziende tecnologiche. Ora, con questi modelli più efficienti dal punto di vista delle risorse, anche le piccole e medie imprese possono accedere alla tecnologia per creare chatbot personalizzati e migliorare l’esperienza del cliente.
Naturalmente, ci sono ancora sfide da affrontare. Ad esempio, la velocità di addestramento e la scalabilità su più GPU rimangono problematiche importanti. Tuttavia, con l’impegno continuo di aziende come Hugging Face e Colossal-AI, insieme a fornitori di cloud computing come Microsoft, è probabile che tali sfide saranno affrontate nel tempo.
In sintesi, la creazione di chatbot personalizzati sta diventando sempre più accessibile per le aziende grazie agli sviluppi recenti nell’IA generativa. Questo apre la strada a nuove opportunità per migliorare l’esperienza del cliente e rendere la tecnologia dell’IA più democratica e accessibile a tutti.