Nvidia ha rilasciato in beta Personal AI Router, o PAIR, un software open source gratuito progettato per collegare più computer compatibili presenti sulla stessa rete domestica e utilizzarli come un unico cluster per l’inferenza AI locale. PAIR non è un router hardware e non introduce un nuovo motore di inferenza: modelli e runtime continuano infatti a essere eseguiti da software come Ollama e LM Studio sui singoli computer, mentre PAIR si occupa di individuare i sistemi disponibili, verificarne lo stato, distribuire le richieste provenienti dai carichi di lavoro basati su agenti e restituire le risposte all’applicazione che le ha generate.
La beta supporta Windows 11, DGX OS, Ubuntu 14.04 e macOS Tahoe, con architetture x64 e arm64; Windows on ARM viene indicato nella documentazione come ancora sperimentale. Sul fronte hardware, sono compatibili le GPU GeForce RTX dalla serie 20 in poi, i sistemi DGX Spark e GB10 e i Mac equipaggiati con chip Apple M4 o successivi. Nvidia indica inoltre il supporto alle GPU professionali RTX PRO basate su architettura Turing e successive. I requisiti comprendono almeno 8 GB di RAM e, come spazio disco raccomandato, almeno 20 GB. Per il funzionamento del cluster non è necessaria una connessione Internet permanente, anche se l’accesso alla rete resta necessario per scaricare i modelli. L’installazione non richiede rack, cablaggi dedicati o infrastrutture particolari: il software viene installato sui dispositivi che si vogliono utilizzare, che possono poi essere aggiunti al cluster e messi a disposizione delle applicazioni AI locali.
PAIR funziona come un router virtuale per l’inferenza e non come un sistema capace di fondere fisicamente le risorse GPU presenti sui vari computer. Ogni richiesta viene assegnata a un singolo nodo compatibile e rimane su quel nodo per tutta la durata dell’elaborazione. Il software non somma quindi la memoria delle GPU, non crea un acceleratore logico più grande, non suddivide un singolo modello tra più macchine e non distribuisce una singola richiesta di inferenza contemporaneamente su più nodi. Il vantaggio deriva invece dalla possibilità di eseguire in parallelo richieste indipendenti su sistemi diversi, aumentando la capacità complessiva disponibile quando il carico AI può essere suddiviso in più attività autonome.
Le applicazioni comunicano con il cluster attraverso endpoint proxy compatibili con le API di Ollama e con quelle in stile OpenAI. PAIR utilizza le porte predefinite normalmente impiegate dai due motori, permettendo agli agent framework e alle applicazioni già configurate per queste interfacce di continuare a utilizzarle senza dover integrare una nuova API specifica per il cluster. Un nodo può ricevere una richiesta soltanto se dispone di un motore di inferenza supportato e se contiene esattamente il modello richiesto. Il sistema tende inoltre a privilegiare i nodi sui quali il modello risulta già disponibile. I computer che compongono il cluster non devono necessariamente ospitare gli stessi modelli, ma installare lo stesso model tag su più nodi amplia il numero di sistemi tra i quali PAIR può scegliere per distribuire le richieste.
Per ogni nuovo lavoro il scheduler valuta diversi parametri, tra cui la disponibilità del nodo, lo stato del motore di inferenza, la presenza del modello richiesto, il numero di attività già in esecuzione e l’utilizzo corrente della GPU. Viene quindi preso in considerazione anche l’eventuale carico grafico generato da altre applicazioni. I dispositivi possono fornire capacità al cluster quando sono disponibili e uscirne temporaneamente senza compromettere l’intero sistema, ad esempio quando un notebook entra in sospensione, viene chiuso oppure lascia la rete locale. La prima versione utilizza un’unica politica di scheduling che combina la coda dei lavori con una misura relativamente semplice dell’utilizzo della GPU; per questo motivo l’implementazione attuale risulta maggiormente adatta a gruppi di computer con caratteristiche simili rispetto a cluster composti da hardware molto eterogeneo. Nvidia intende raccogliere feedback anche sull’evoluzione dello scheduler, senza aver ancora definito funzionalità o tempistiche precise.
L’individuazione dei dispositivi avviene automaticamente sulla rete locale attraverso mDNS, anche se un nodo può essere aggiunto manualmente tramite indirizzo IP. L’associazione tra due computer utilizza un PIN di sei cifre visualizzato sul sistema che avvia la procedura e inserito sul dispositivo invitato. Prima del completamento del pairing le comunicazioni tra i nodi sono bloccate; successivamente il traffico viene protetto tramite mutual TLS, con certificati generati dal sistema. L’obiettivo è mantenere l’inferenza all’interno della rete dell’utente, evitando che prompt, file e contesto degli agenti debbano essere inviati a un servizio di inferenza cloud. La documentazione raccomanda comunque di consultare attentamente le indicazioni di sicurezza prima di utilizzare PAIR su reti condivise o non affidabili, dato che il sistema impiega endpoint HTTP locali, meccanismi di discovery LAN e comunicazioni di cluster tra i dispositivi.
PAIR è rivolto soprattutto ai carichi di lavoro che generano numerose richieste indipendenti contemporaneamente. Un esempio tipico è quello delle applicazioni multi-agent, nelle quali un agente principale scompone un’attività complessa in più incarichi affidati a subagenti differenti. In una dimostrazione realizzata con Hermes Desktop e Ollama, Nvidia ha utilizzato cinque subagenti con il modello Qwen 3.6 35B A3B. L’esecuzione su un singolo laptop RTX Spark ha richiesto in media 18 minuti, mentre un cluster PAIR composto da un laptop RTX Spark, un DGX Spark e una RTX 5090 ha completato lo stesso carico in media in 8 minuti e 48 secondi. Nvidia precisa tuttavia che si tratta di una dimostrazione non ufficiale e legata alla configurazione utilizzata, non di un benchmark generale né di una garanzia di scalabilità lineare: i risultati dipendono infatti dal grado di parallelismo del carico, dal modello, dalle impostazioni del motore, dall’hardware, dalla rete e dalla disponibilità effettiva dei singoli nodi.
I benefici possono essere molto più limitati quando il carico è prevalentemente sequenziale, quando l’esecuzione dipende soprattutto da un’unica chiamata lunga al modello oppure quando il modello richiesto è installato su un solo computer del cluster. PAIR nasce quindi come sistema per distribuire richieste indipendenti tra più dispositivi, non come tecnologia destinata a trasformare diverse GPU domestiche in una singola GPU virtuale di grandi dimensioni. Il codice sorgente è pubblicato da Nvidia con licenza Apache 2.0 e può essere ispezionato e modificato dagli sviluppatori, che possono inoltre contribuire agli aspetti relativi al rilevamento dei nodi, al pairing, al routing, all’integrazione con i motori di inferenza, agli endpoint e all’esperienza utente.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)