OpenAI自研芯片Jalapeño实测超越英伟达GB300，但存四大保留

OpenAI 與 Broadcom 合作打造的 Jalapeño 推論晶片，在功耗效率與回應速度上贏過 Nvidia 現役旗艦 GB300。但彭博報導指出，這場實測背後藏著至少四個未被攤開的但書。

（前情提要：OpenAI 聯手 Broadcom 發表首款 AI 晶片「Jalapeño」，9 個月火速達陣挑戰 Nvidia 霸權）

（背景補充：NVIDIA Vera 基準測試出爐！加速代理式 AI 儲存，加密與資料恢復快逾 3 倍）

OpenAI 晶片長 Richard Ho 在史丹佛大學的 Hot Chips 大會上表示，其最新自研晶片 Jalapeño 實測裡已超越 Nvidia 現役旗艦晶片 GB300：同樣功耗下能處理更多 AI 工作量，回應速度也更快。

Jalapeño 是什麼？

Jalapeño 是 OpenAI 與 Broadcom 合作開發的推論專用晶片。簡單來說就是，這顆晶片只負責回答問題、執行任務這類「用模型」的工作，不負責從頭訓練模型，兩者需要的設計邏輯完全不同。

這項合作早在去年就已對外公開，雙方以業界少見的速度完成開發，今年 6 月正式發表這顆晶片。測試中，OpenAI 讓 Jalapeño 跑自家的小型開源模型，也跑了 DeepSeek 與 Moonshot AI 的第三方模型，其中在 Moonshot 的 Kimi 上，優勢最明顯。Ho 也提到，內部測試顯示 Jalapeño 在 OpenAI 尚未發布的大型進階模型上同樣表現強勁。

規格上，128 顆 Jalapeño 組成的系統可提供 1.7 exaFLOPS 的 4 位元（MXFP4）算力，換算每顆約 13.4 petaFLOPS。The Register 的技術分析指出，在 OpenAI 自訂的 InferenceX 基準測試中，這套系統尖峰吞吐量比對手機櫃系統高出 1.5 到 1.9 倍，端到端延遲低了 1.7 到 3.6 倍，在超低延遲場景甚至快上 2.1 到 4.1 倍，測試模型包含 GPT-OSS-120B、DeepSeek R1 與 Kimi K2.5。

每套系統配備 27.5 TB 的 HBM4 高頻寬記憶體，平均每顆晶片分到 216 GB。簡單來說就是，這是一種讀寫速度極快的記憶體，專門負責餵飽運算晶片，避免它閒置等資料，整套系統的記憶體頻寬逼近每秒 2 petabytes，另外還有一塊大型 SRAM 快取，就近存放 KV 快取與中間運算結果。

從立案到 tape-out，只花了九個月，OpenAI 用 AI 模型加速了整個晶片設計流程。簡單來說就是，tape-out 是晶片設計定案、送去代工廠量產前的最後一步。第二代 Jalapeño 已經進展到後段，第三代的概念也進入設計階段。OpenAI 計畫在 2026 年稍晚部署 Jalapeño，屆時會決定哪些模型跑在這顆晶片上，官方說法是要降低資料中心的電費支出。

成績單裡的四個但書 但這份漂亮的成績單，禁不起太仔細的檢視。彭博報導指出，這場對比雖然亮眼，成績單裡卻藏著至少四個沒被攤開講的但書。

第一，Jalapeño 從頭到尾沒有跟 Nvidia 剛開始出貨的新一代 Vera Rubin 晶片對打，比較的仍是上一代的 GB300。

第二，這次的基準測試刻意排除了推測解碼。簡單來說就是，這是一種先用小模型打草稿、再讓大模型確認的加速技巧，業界普遍用它拉高推論速度，排除這項技巧的比較方式，對 Jalapeño 的架構相對有利。

第三，也是最容易被忽略的一點：比起 Nvidia 的 GB200 NVL72 與 GB300 NVL72 機櫃，Jalapeño 的原始算力反而少了 1.46 到 2 倍，記憶體容量也少了約一成，只有記憶體頻寬贏過對手近兩成。換句話說，Jalapeño 贏的是「每瓦效率」與「延遲」。

第四，OpenAI 官方至今沒有公布 Jalapeño 的實際功耗數字，外部估計比一般 GPU 省電四到六成，而且要等到 2027 年才會量產，2026 年僅有限量供應，短期內還撼動不了 Nvidia 在資料中心裡的出貨量。換句話說，這場勝利目前更接近一份漂亮的實驗室成績單，離真正大規模部署，中間還有一段路要走。

Ho 自己也沒有把話說滿。他在會上強調 Nvidia 仍是「非常好的合作夥伴」，OpenAI「還是會需要非常多的 Nvidia」；與此同時，OpenAI 也持續用 Cerebras Systems 的技術跑部分模型，Ho 的說法是「我們對算力的需求太大了」，已經簽下多家供應商。