IBM e Together AI hanno siglato un accordo pluriennale da 240 milioni di dollari per realizzare su IBM Cloud un’infrastruttura dedicata all’inferenza di modelli di intelligenza artificiale open source. Il progetto prevede l’installazione di un grande cluster basato su sistemi NVIDIA HGX B300 e rete NVIDIA Spectrum-X Ethernet, con disponibilità commerciale prevista nel primo trimestre del 2027. IBM lo indica come il primo cluster dedicato all’inferenza su larga scala del proprio cloud costruito utilizzando sistemi HGX B300, mentre Together AI impiegherà la capacità per erogare i propri servizi di inferenza destinati ad aziende e sviluppatori.
La prima configurazione comprenderà circa 2.000 GPU NVIDIA Blackwell B300 e sarà installata negli Stati Uniti. I sistemi HGX B300 integrano la nuova generazione di acceleratori Blackwell destinata ai workload AI e saranno collegati attraverso Spectrum-X Ethernet, l’infrastruttura di networking NVIDIA progettata per cluster di calcolo accelerato. NVIDIA attribuisce alla nuova configurazione una capacità di produzione delle cosiddette AI factory fino a 30 volte superiore rispetto alle generazioni precedenti. L’architettura sarà utilizzata principalmente per l’inferenza, cioè la fase nella quale modelli già addestrati elaborano nuovi input e producono risposte, attività che sta assorbendo una quota crescente della capacità computazionale richiesta dai sistemi di AI in produzione.
Together AI ha scelto IBM Cloud e l’infrastruttura NVIDIA con l’obiettivo di aumentare rapidamente la capacità GPU disponibile e ridurre il costo di generazione per token. La società offre una piattaforma AI Native Cloud che comprende inferenza, training, fine-tuning e workflow agentici e permette alle imprese di utilizzare modelli aperti come DeepSeek, MiniMax e Kimi senza dipendere esclusivamente dalle API dei principali sistemi proprietari. Il servizio di inferenza di Together AI elabora attualmente circa 400.000 miliardi di token al mese e la società prevede una domanda molto elevata anche per il nuovo cluster: secondo il chief revenue officer Kai Mak, la capacità potrebbe risultare completamente impegnata già due o tre mesi prima dell’effettiva entrata in servizio.
L’infrastruttura combina quindi tre livelli distinti. IBM fornirà il cloud enterprise e la capacità di distribuzione del cluster, NVIDIA metterà a disposizione sistemi HGX B300 e networking Spectrum-X, mentre Together AI sovrapporrà la propria piattaforma software per l’esecuzione dei modelli. La configurazione consentirà alle aziende di distribuire e scalare workload AI aperti senza dover acquistare e amministrare direttamente grandi quantità di acceleratori, mantenendo allo stesso tempo la possibilità di scegliere modelli differenti all’interno di uno stack modulare. IBM punta inoltre a utilizzare la propria esperienza nelle infrastrutture cloud ibride per offrire un ambiente nel quale GPU NVIDIA, networking accelerato e software di inferenza Together AI possano essere utilizzati come un’unica piattaforma di produzione.
Il progetto arriva durante una fase di forte espansione di Together AI. La società, fondata nel 2022 e con sede a San Francisco, ha recentemente raccolto 800 milioni di dollari in un round di Serie C che l’ha valutata 8,3 miliardi di dollari. La piattaforma viene utilizzata da oltre un milione di sviluppatori e supporta workload che spaziano dall’inferenza al training e al reinforcement learning. L’ampliamento della capacità attraverso IBM Cloud risponde quindi alla crescita di un servizio che sta spostando una parte consistente della propria attività verso l’utilizzo dei modelli open source in ambienti aziendali di produzione.
L’accordo amplia anche la collaborazione già esistente tra IBM e NVIDIA. Le due aziende stanno lavorando congiuntamente su infrastrutture cloud e on-premise, analisi dei dati eseguite direttamente su GPU, estrazione di informazioni da dati non strutturati e servizi destinati all’implementazione dell’intelligenza artificiale nelle imprese. Nel nuovo cluster questa collaborazione viene applicata specificamente all’inferenza su larga scala, con un’infrastruttura progettata non per addestrare un singolo grande modello proprietario, ma per fornire capacità condivisa attraverso la quale Together AI potrà eseguire differenti modelli aperti per i propri clienti.
Per Together AI il nuovo cluster diventa quindi una riserva dedicata di capacità computazionale sulla quale espandere i servizi di inferenza, mentre per IBM rappresenta l’ingresso dei sistemi NVIDIA HGX B300 in una configurazione cloud specificamente costruita per questo tipo di workload. L’investimento da 240 milioni di dollari copre un accordo pluriennale e la prima capacità sarà disponibile nel 2027, con una domanda che Together AI prevede di assorbire integralmente ancora prima dell’attivazione commerciale dell’infrastruttura.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)