La crescita dei prodotti basati sull’intelligenza artificiale sta mettendo in evidenza i limiti delle architetture cloud progettate principalmente per applicazioni web, database e workload CPU tradizionali. Le aziende AI-native hanno infatti esigenze molto diverse: devono addestrare modelli, eseguire fine-tuning, effettuare valutazioni e contemporaneamente servire richieste di inferenza provenienti da un numero potenzialmente elevatissimo di utenti. Queste attività richiedono grandi quantità di GPU, reti ad altissima velocità, storage capace di alimentare continuamente gli acceleratori e sistemi software in grado di coordinare migliaia di risorse come se appartenessero a un’unica piattaforma.
Il cloud tradizionale è nato ottimizzando l’utilizzo condiviso di CPU, memoria e macchine virtuali tra molti clienti con carichi relativamente prevedibili. L’AI segue invece una logica quasi opposta. L’addestramento di un modello può utilizzare contemporaneamente migliaia di GPU per periodi molto lunghi, mentre i servizi di inferenza devono essere in grado di assorbire improvvisi aumenti di traffico mantenendo sotto controllo latenza e costo per richiesta. Inoltre training, fine-tuning, valutazione e inferenza non rappresentano più fasi completamente separate, perché i modelli vengono continuamente aggiornati e riconfigurati mentre rimangono in produzione.
Una piattaforma progettata specificamente per l’AI deve quindi integrare l’intero stack, dal livello hardware fino agli strumenti utilizzati dagli sviluppatori. GPU e altri acceleratori devono essere collegati attraverso interconnessioni ad alta larghezza di banda e bassa latenza, come architetture basate su NVLink e reti RDMA, mentre lo storage deve fornire rapidamente dataset di addestramento, checkpoint e dati utilizzati durante l’inferenza. Sopra questa infrastruttura sono necessari sistemi di orchestrazione, framework di training, procedure di fine-tuning e piattaforme di serving progettate per utilizzare in modo efficiente lo stesso insieme di risorse.
La velocità con cui cambia la tecnologia AI aggiunge un ulteriore requisito. Nuovi modelli, tecniche di quantizzazione, architetture Mixture of Experts, sistemi di attenzione e metodi di ottimizzazione possono comparire nell’arco di pochi mesi. Una piattaforma AI-native deve quindi integrare rapidamente questi sviluppi senza obbligare ogni azienda a ricostruire continuamente la propria infrastruttura. L’obiettivo non è soltanto rendere disponibile una GPU più recente, ma consentire ai team di passare rapidamente dalla sperimentazione alla produzione mantenendo compatibilità tra addestramento, adattamento del modello e inferenza.
La scalabilità riguarda inoltre la topologia dell’infrastruttura e non soltanto il numero di acceleratori disponibili. Aggiungere migliaia di GPU non garantisce automaticamente prestazioni elevate se la rete, lo storage o il sistema di scheduling non riescono a mantenerle alimentate e sincronizzate. I grandi cluster AI vengono quindi progettati come sistemi integrati a livello di rack, con interconnessioni ad alta velocità, capacità energetiche elevate e infrastrutture di raffreddamento dimensionate per hardware che consuma molto più dei server CPU tradizionali. La capacità di far lavorare migliaia di acceleratori come una singola macchina distribuita diventa uno degli elementi principali dell’architettura.
Anche il significato di affidabilità cambia. In un normale ambiente cloud la perdita di una singola macchina virtuale può essere gestita ridistribuendo il traffico o avviando una nuova istanza. In un addestramento distribuito che utilizza migliaia di GPU, invece, il guasto di un singolo componente o il rallentamento di un collegamento di rete può compromettere le prestazioni dell’intero job. Diventano quindi essenziali sistemi di checkpointing, monitoraggio della rete, rilevamento dei nodi degradati e procedure di recupero capaci di ridurre il tempo perso durante elaborazioni che possono durare giorni o settimane.
Il problema si sposta progressivamente anche verso l’inferenza. Quando un modello viene utilizzato da milioni di persone, anche una piccola riduzione della latenza o del consumo di risorse può modificare sensibilmente i costi operativi. Le piattaforme devono quindi gestire aspetti come il routing delle richieste, il batching, la distribuzione dei modelli tra più GPU e la gestione della KV cache utilizzata dai large language model durante la generazione. La crescita dei sistemi agentici rende il problema ancora più complesso, perché una singola richiesta dell’utente può produrre numerose chiamate successive al modello, utilizzare contesti molto lunghi e rimanere attiva per tempi molto superiori rispetto a una normale conversazione con un chatbot.
Una delle caratteristiche richieste a queste piattaforme è inoltre la possibilità di scalare senza modificare continuamente il codice. Un esperimento eseguito inizialmente su una singola macchina dovrebbe poter essere trasferito a cluster composti da centinaia o migliaia di GPU senza dover riprogettare completamente il software. Lo stesso principio riguarda il deployment: il passaggio da un prototipo utilizzato da pochi sviluppatori a un servizio destinato a milioni di utenti dovrebbe essere gestito attraverso API, strumenti di orchestrazione e sistemi di osservabilità capaci di mostrare prestazioni, costi e utilizzo delle risorse.
Da queste esigenze sta emergendo una categoria di infrastrutture spesso definita AI Native Cloud o, in altri contesti, neocloud. Il modello non consiste semplicemente nell’affittare GPU, ma nel costruire l’intera infrastruttura intorno al ciclo di vita dell’intelligenza artificiale. Hardware, rete, storage, software di training e sistemi di inferenza vengono progettati come parti dello stesso ambiente, con l’obiettivo di ridurre le inefficienze che possono comparire quando componenti sviluppati separatamente vengono assemblati successivamente.
La disponibilità dell’hardware rimane comunque una parte fondamentale del problema. Le aziende che sviluppano prodotti AI possono crescere molto rapidamente e richiedere nuovi cluster in tempi relativamente brevi, mentre la costruzione dei data center, la disponibilità di energia elettrica e l’installazione di nuovi acceleratori richiedono investimenti e pianificazione su scala molto più ampia. Per questo i fornitori specializzati stanno sviluppando infrastrutture capaci di aggiungere rapidamente nuove generazioni di GPU e, nei progetti più grandi, data center con potenze nell’ordine dei gigawatt.
Il passaggio verso un cloud specificamente progettato per l’intelligenza artificiale non implica quindi semplicemente sostituire le CPU con GPU. Cambiano il modello di utilizzo delle risorse, la rete, lo storage, l’affidabilità richiesta e gli strumenti messi a disposizione di sviluppatori e ricercatori. Training, fine-tuning e inferenza diventano parti di un unico ciclo continuo e l’infrastruttura deve riuscire a seguirne l’evoluzione senza trasformare ogni nuovo modello o tecnica in un nuovo progetto di integrazione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)