Hugging Face ha introdotto una libreria JavaScript per il machine learning (ML) che consente di eseguire modelli “Transformers” direttamente nel browser, senza bisogno di un server. Questa novità permette agli sviluppatori di creare applicazioni AI avanzate direttamente all’interno del browser stesso.
La nuova versione, “Transformers.js” v3, è stata rilasciata come open source e offre la capacità di caricare ed eseguire modelli basati sull’architettura Transformer in modo efficiente. La libreria include un nuovo formato di quantizzazione che riduce le dimensioni dei modelli e migliora la velocità di elaborazione, rendendo possibile l’uso di modelli ad alta intensità di risorse anche su piattaforme limitate come i browser web.
“Transformers.js” supporta 120 diverse architetture di modelli, tra cui “Pi-3”, “Gemma 2” e “Lava”, in vari campi come l’elaborazione del linguaggio naturale, la visione artificiale e l’audio. La velocità di inferenza è stata migliorata fino a 100 volte rispetto alla versione precedente. Inoltre, sono stati aggiunti 25 nuovi progetti e modelli di esempio, con oltre 1.200 modelli personalizzati già preconvertiti e pronti per l’uso.
In occasione di questo lancio, Hugging Face ha collaborato con Amazon Web Services (AWS) per presentare “HUGS” (Hugging Face Generative AI Services), un servizio che facilita alle aziende l’implementazione e l’esecuzione di modelli linguistici di grandi dimensioni (LLM) su una vasta gamma di hardware.
HUGS è un servizio simile a NIM (Nvidia’s Inference Microservices) e offre un’immagine di modello containerizzata che fornisce agli utenti tutto il necessario per distribuire modelli di intelligenza artificiale. A differenza di altre soluzioni come vLLM o TensorRT LLM, gli utenti possono chiamare API aperte standard utilizzando immagini di container preconfigurate disponibili su piattaforme di virtualizzazione come Docker o Kubernetes.
Questo strumento è stato sviluppato utilizzando framework e librerie open source come Text Generation Inference (TGI) e Transformer, rendendolo compatibile con diverse piattaforme hardware, incluse le GPU di NVIDIA e AMD. Inoltre, il supporto sarà esteso a specializzati acceleratori di intelligenza artificiale, come il chip di inferenza AI di Amazon Inferentia e Google TPU.
Hugging Face offre HUGS a un costo di 1 dollaro l’ora sui servizi di cloud computing di Amazon e Google, oltre che su Digital Ocean. Le aziende hanno anche la possibilità di scaricare HUGS e utilizzarlo nei propri data center.