OpenAI ha pubblicato i primi benchmark dettagliati di Jalapeño, il proprio acceleratore custom per l’inferenza sviluppato insieme a Broadcom, mostrando prestazioni superiori ai sistemi Nvidia GB200 e GB300 in diversi scenari di serving di modelli linguistici. Nei test condotti con InferenceX di SemiAnalysis su GPT-OSS 120B, DeepSeek R1 e Kimi K2.5 1T, Jalapeño ha fornito tra 1,5 e 1,9 volte più lavoro AI per watt al picco di throughput e una latenza end-to-end tra 1,7 e 3,6 volte inferiore rispetto ai sistemi utilizzati per il confronto. Nei workload più interattivi, il vantaggio prestazionale dichiarato sale tra 2,1 e 4,1 volte. Il confronto riguarda però la generazione Blackwell di Nvidia, inclusi GB200 e GB300, e non i successivi sistemi Vera Rubin.
Jalapeño è un ASIC progettato specificamente per l’inferenza dei large language model e non per l’addestramento. OpenAI lo ha sviluppato partendo dai propri workload reali di ChatGPT, Codex e API, ottimizzando insieme calcolo, memoria, networking, kernel e software di serving. Il chip è classificato per un consumo di 700 watt, mentre durante i workload misurati il consumo sostenuto è rimasto pari o inferiore a 550 watt. Nei test su Kimi K2.5 1T, il modello pubblico più grande analizzato, Jalapeño ha raggiunto circa 1,5 volte le prestazioni di picco per watt del sistema concorrente e una latenza end-to-end circa 3,4 volte inferiore. OpenAI afferma inoltre che il vantaggio cresce ulteriormente sui propri modelli frontier interni.
L’architettura è stata costruita per ridurre lo spostamento dei dati durante le diverse fasi dell’inferenza. Nel prefill il collo di bottiglia è principalmente la capacità computazionale, mentre durante il decode diventa più importante la larghezza di banda della memoria. Jalapeño mantiene localmente elementi come la KV cache e coordina calcolo, memoria e networking per evitare trasferimenti non necessari tra unità differenti. Il networking è parte integrante del progetto e consente di mantenere l’intero workload all’interno di un dominio connesso, cercando di ridurre i tempi morti dovuti alla comunicazione tra chip.
Il processore utilizza memoria HBM4 con una larghezza di banda di 15,4 TB/s per package. OpenAI prevede configurazioni rack da 128 chip, mentre un pod completo può arrivare a 2.048 ASIC distribuiti su 16 rack. Una configurazione da 128 chip raggiunge circa 1,7 exaflop di capacità di calcolo a 4 bit e dispone complessivamente di 27,5 TB di HBM4. Questa struttura è stata progettata per supportare sia prefill sia decode sulla stessa piattaforma, evitando di separare necessariamente le due fasi su hardware differente.
Nei test citati da OpenAI, DeepSeek R1 ha superato i 700 token al secondo per utente con concurrency pari a uno, mentre GPT-OSS e Kimi K2.5 hanno raggiunto circa 1.400 token al secondo per utente in specifiche configurazioni. Le misurazioni sono state effettuate senza speculative decoding e utilizzando single-token prediction, in modo da confrontare più direttamente le prestazioni del sistema hardware.
OpenAI ha sviluppato Jalapeño insieme a Broadcom in circa nove mesi dal progetto iniziale al tape-out. I modelli AI della stessa OpenAI sono stati utilizzati durante il processo di progettazione per esplorare differenti implementazioni, accelerare le verifiche e ottimizzare i circuiti aritmetici. Anche il software destinato al chip viene sviluppato con l’assistenza dei modelli: utilizzando Codex con GPT-Astra, il team ha portato tre modelli open-weight non previsti inizialmente nel piano di produzione a prestazioni elevate nell’arco di circa due mesi. Su alcuni blocchi attention e mixture-of-experts di GPT-OSS, le implementazioni generate dall’AI sono risultate tra 1,5 e 1,8 volte più veloci rispetto alle versioni precedentemente scritte da esperti umani; questi valori riguardano però singoli blocchi e non l’intero modello.
La prima generazione di Jalapeño utilizza un processo TSMC della famiglia a 3 nanometri e OpenAI sta già lavorando alle revisioni successive. Una variante B0 è già in produzione e dovrebbe migliorare le prestazioni per watt di circa il 25%. Parallelamente, la seconda generazione dell’acceleratore è in fase avanzata di sviluppo e dovrebbe raggiungere il tape-out entro pochi mesi, mentre il progetto della terza generazione ha già iniziato a prendere forma.
OpenAI considera quindi Jalapeño l’inizio di una piattaforma multi-generazione e non un singolo esperimento hardware. L’azienda prevede di iniziare a distribuire il chip nella propria infrastruttura entro la fine del 2026, con un aumento della capacità produttiva durante il 2027. Una parte consistente della produzione è prevista nella parte finale del prossimo anno, mentre i deployment successivi dovrebbero raggiungere dimensioni nell’ordine delle centinaia di megawatt e inserirsi nel più ampio accordo infrastrutturale con Broadcom.
Jalapeño non sostituirà però nel breve periodo le GPU Nvidia nell’infrastruttura OpenAI. Il chip è progettato per l’inferenza e OpenAI continuerà a utilizzare ampiamente acceleratori Nvidia e hardware di altri partner sia per il training sia per l’inferenza. Richard Ho, vicepresidente hardware di OpenAI, ha ribadito che Nvidia rimane un partner fondamentale per la società. L’obiettivo del programma custom è quindi aggiungere una piattaforma ottimizzata per specifici workload di serving, riducendo costi energetici e latenza nelle attività che rappresentano una parte crescente del consumo computazionale di prodotti come ChatGPT e Codex.
La roadmap mostra inoltre che OpenAI sta cercando di comprimere progressivamente i cicli di sviluppo dell’hardware. Dopo aver portato Jalapeño dal progetto al tape-out in nove mesi, l’azienda sta già preparando Gen 2 mentre Gen 1 deve ancora entrare nella fase di distribuzione su larga scala. La strategia consiste nel coordinare lo sviluppo di modelli, software e chip all’interno dello stesso ciclo, utilizzando i workload prodotti dalle generazioni attuali per progettare l’hardware destinato alle generazioni successive.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)