Google ha lanciato un nuovo strumento chiamato “localllm”, che aiuta gli sviluppatori a creare app di intelligenza artificiale avanzate che possono funzionare sulla CPU dei dispositivi locali. ‘localllm’ fornisce un insieme di strumenti e librerie che semplificano l’accesso ai modelli di intelligenza artificiale quantizzati disponibili su Hugging Face tramite un’applicazione da riga di comando.
Questo nuovo approccio elimina la necessità di utilizzare GPU, offrendo un modo continuo ed efficiente per sviluppare applicazioni. ‘localllm’ si basa sull’uso di modelli quantizzati ottimizzati per dispositivi con risorse computazionali limitate. Questi modelli, ospitati su Hugging Face e adattati per funzionare con il metodo di quantizzazione, consentono un funzionamento fluido su workstation cloud senza dover dipendere dalle GPU.
I modelli quantizzati migliorano le prestazioni utilizzando tipi di dati con precisione inferiore, riducendo l’occupazione della memoria e consentendo un’elaborazione più veloce. L’uso combinato di modelli quantizzati e workstation cloud migliora la flessibilità, la scalabilità e la convenienza economica.
L’obiettivo di questo approccio è superare le limitazioni legate all’uso di server remoti o istanze GPU basate su cloud, risolvendo problemi come la latenza, la sicurezza e la dipendenza da servizi di terze parti.
Tra le principali caratteristiche e vantaggi di ‘localllm’ ci sono: l’esecuzione senza l’uso di GPU, maggiore produttività, riduzione dei costi infrastrutturali, maggiore sicurezza dei dati grazie all’esecuzione locale e una perfetta integrazione con i servizi Google Cloud.
Google ha recentemente collaborato con Hugging Face per consentire alle aziende di creare la propria intelligenza artificiale utilizzando i modelli aperti più recenti di Hugging Face insieme alle funzionalità cloud e hardware di Google Cloud.