Nvidia sta lanciando “Chat with RTX”, una nuova iniziativa per creare chatbot IA locali personalizzati su PC Windows AI. Questo rappresenta l’ultimo sforzo dell’azienda per rendere l’intelligenza artificiale delle sue GPU uno strumento più diffuso e accessibile.
“Chat with RTX” permette agli utenti di utilizzare l’intelligenza artificiale generativa sul proprio dispositivo, sfruttando la tecnologia di generazione aumentata di recupero (RAG) e il software TensorRT-LLM. Questo approccio riduce il consumo di risorse dei data center e migliora la privacy, dato che le chat AI vengono processate localmente.
I chatbot, solitamente dipendenti da server cloud con GPU Nvidia, possono ora funzionare localmente grazie a “Chat with RTX”. Gli utenti con una GPU Nvidia GeForce RTX serie 30 o superiore e almeno 8 GB di VRAM possono sperimentare l’intelligenza artificiale generativa in modo più veloce e sicuro.
Secondo Nvidia, “Chat with RTX” è più di un semplice chatbot; è un compagno AI che gli utenti possono personalizzare con i propri contenuti. Utilizzando PC Windows locali con GeForce, gli utenti possono migliorare la loro esperienza con intelligenza artificiale generativa veloce e privata.
L’applicazione sfrutta RAG, TensorRT-LLM e l’accelerazione Nvidia RTX per fornire risposte rapide e pertinenti. Gli utenti possono collegare l’app ai file locali per trasformarli in dati per modelli linguistici open source come Mistral o Llama 2. Supporta vari formati di file e consente ricerche in linguaggio naturale.
“Chat with RTX” include anche informazioni da fonti multimediali, come video e playlist di YouTube, permettendo agli utenti di integrare questi contenuti nel chatbot per query contestuali.
La processazione locale assicura risposte rapide e mantiene i dati dell’utente sul dispositivo, eliminando la necessità di servizi cloud e migliorando la gestione dei dati sensibili.
Per utilizzare “Chat with RTX”, gli utenti hanno bisogno di una specifica configurazione hardware e software, inclusi una GPU GeForce RTX serie 30 o superiore, Windows 10 o 11 e gli ultimi driver GPU Nvidia.
Gli sviluppatori possono esplorare il potenziale di accelerazione dei modelli linguistici con le GPU RTX attraverso il progetto TensorRT-LLM RAG su GitHub. Nvidia incoraggia la partecipazione al concorso per sviluppatori Generative AI su Nvidia RTX, offrendo premi come una GPU GeForce RTX 4090 e un pass per una conferenza Nvidia GTC.