一個數字震驚了整個半導體圈:在特定測試情境下,OpenAI 的自研晶片 Jalapeño 推理速度比 NVIDIA GB200 NVL72 快了 4.1 倍。這不是某家新創公司放出的投影片,而是在史丹佛大學舉辦的 Hot Chips 大會上,由 OpenAI 硬體產品負責人 Richard Ho 親口揭露的實測數據。
Hot Chips 一向是晶片界的高手過招場合,各家拿出壓箱寶來展示實力。今年最受矚目的戲碼之一,就是 OpenAI 首款客製化 AI 晶片「Jalapeño」的效能測試首度曝光。這顆晶片 6 月才剛亮相,由 OpenAI 與博通(Broadcom)共同設計,當時外界只知道它是用來支撐 OpenAI 日益龐大的 AI 基礎設施需求。但這次,數字說話了。
表象:Jalapeño 的規格與測試數據到底多猛?
先看硬體規格。OpenAI 用每個機櫃搭載 128 顆晶片的陣容來部署 Jalapeño,Richard Ho 在會上說明:「一個完整的 Pod 就有 2,048 顆晶片。」這 128 顆晶片的配置,具備 1.7 exaFLOPS 的 4 位元運算能力,以及 27.5TB 的 HBM4 記憶體,每顆封裝具有 15.4TBps 的記憶體頻寬。坦白說,這些數字已經不是「頂級」兩個字能涵蓋,而是直接拉出一個世代以上的差距。
但規格再漂亮,最終還是要看實際跑分。OpenAI 選擇了三款模型進行測試:自家 gpt-oss-120b,以及 DeepSeek-R1、Kimi K2.5。半導體研究機構 SemiAnalysis 的 InferenceX 基準測試結果顯示,以 Jalapeño 為基礎的系統在這三款模型上,峰值吞吐量多出 1.5 倍至 1.9 倍的 AI 工作量,端到端延遲則降低 1.7 倍至 3.6 倍。而在超低延遲情境下,測試表現更是快上 2.1 倍至 4.1 倍。
「在我們嘗試的這 3 款模型,證明了這套架構不僅適用於內部模型,同樣也適用於其他模型。」Richard Ho 在 Hot Chips 大會上強調,「這是一款通用型、極具彈性的 AI 加速器。」
這裡有個細節值得注意:Jalapeño 的額定功耗為 700W,但在測試工作負載中測得的持續功耗保持在 550W 或更低。換句話說,它在比標稱功耗更低的情況下跑出了更高的效能——這在晶片界並不常見,通常實際功耗只會往上跑,不會往下掉。
真相:超越 NVIDIA 是真的,但故事沒那麼簡單
看到這裡,你大概會想:所以 NVIDIA 是不是該緊張了?
話說回來,OpenAI 的測試數據確實亮眼,但 Richard Ho 在會上隨即補了一段關鍵補充:OpenAI 並不打算放慢部署 NVIDIA 產品的腳步。這句話背後有兩層意思。第一,Jalapeño 的效能超越是在特定測試條件下得出的結果,不代表在所有場景都能全面輾壓。第二,就算 Jalapeño 真的很強,它目前的產量也遠遠不足以支撐 OpenAI 全部的運算需求。
「這是我們整體運算資源策略的一部分,策略上涵蓋 NVIDIA、Cerebras 等非常非常出色的合作夥伴。」Richard Ho 坦言,「我們有著相當龐大的運算需求,而我們不可能一次就全部滿足。」
這句話說得非常務實。OpenAI 的 AI 訓練和推論需求大到什麼程度?大到他們即使自己跳下來做晶片,還是得繼續跟 NVIDIA 大量採購。這不是二選一的問題,而是「全都要」的問題。
當被問及是否會對外銷售 Jalapeño 時,Richard Ho 的回應也耐人尋味:「OpenAI 內部有著相當龐大的運算需求,要滿足這些需求需要大量的運算資源,我們光是要有足夠的量都相當吃力。」翻譯成白話文就是:連自己用都不夠了,還賣什麼?
各方角力:自研晶片背後的戰略布局
如果從更高的戰略視角來看,OpenAI 投入自研晶片這件事,絕對不只是為了跑分贏過 NVIDIA 而已。
過去幾年,AI 晶片市場幾乎被 NVIDIA 壟斷,OpenAI 作為全球最燒錢的 AI 公司之一,每年付給 NVIDIA 的帳單恐怕是天文數字。自己設計晶片,除了有機會降低成本,更重要的是掌握硬體設計的主導權——你可以針對自己的模型架構做最佳化,而不是被動配合別人的硬體規格。
另一個有趣的點是:OpenAI 聲稱 Jalapeño 有一部分是在 AI 的協助下開發而成,這讓整個開發流程比以往更加迅速。Richard Ho 補充說,Jalapeño 第二代已進入深度開發階段,甚至第三代已在進行中。用 AI 設計 AI 晶片,再拿這顆晶片來跑 AI 模型——這是一個完美的閉環。
如果你覺得這聽起來很像科幻小說的情節,那你沒聽錯。但這正是眼前正在發生的事。
深層影響:NVIDIA 的霸主地位真的鬆動了嗎?
從短期來看,NVIDIA 的領先地位不會因為一顆 Jalapeño 就瞬間瓦解。畢竟 NVIDIA 在全球 AI 加速器市場的市占率超過八成,客戶涵蓋幾乎所有大型雲端服務商和 AI 新創。OpenAI 的自研晶片就算明年開始大規模部署,數量級仍然無法與 NVIDIA 的出貨量相提並論。
但從長期趨勢來看,大型 AI 公司「去 NVIDIA 化」的腳步正在加速。Google 有 TPU,Amazon 有 Trainium 和 Inferentia,Microsoft 有 Maia,現在 OpenAI 也加入了這個行列。這些公司不是要消滅 NVIDIA,而是要在關鍵環節上拿回控制權——尤其是在供應鏈不穩定的情況下,擁有自研晶片等於多了一條活路。
從產業面來看,OpenAI 這次揭露 Jalapeño 的效能數據,真正的意義不在於「打敗 NVIDIA」,而在於向市場傳遞一個訊號:AI 基礎設施的供應鏈正在從「單一巨頭」走向「多元並存」。對台灣的半導體產業來說,這其實是好事——無論是 NVIDIA 還是 OpenAI,都離不開台積電的產能。關鍵問題在於:台灣的 IC 設計服務和 IP 廠商,能不能在這波自研晶片浪潮中卡到位置?這才是值得關注的產業變局。
未解之問:Jalapeño 的真實考驗才正要開始
Hot Chips 的數據再漂亮,終究是實驗室環境下的結果。Jalapeño 預計今年稍晚以有限數量部署在 OpenAI 資料中心,並在明年進一步廣泛部署——真正的考題在於大規模量產後的良率、穩定度,以及實際工作負載下的長期表現。
還有一個更深層的問題:OpenAI 的商業模式正在從純軟體走向軟硬整合,這條路 Anthropic、Google 也都走過,但沒有一家走得輕鬆。設計晶片是一回事,把晶片變成可大規模營運的基礎設施是另一回事。Richard Ho 的團隊在 Hot Chips 上展現了技術實力,但接下來的考驗才剛開始。
如果有一天,OpenAI 的資料中心裡 NVIDIA 的機櫃被自家晶片一一取代,那才是真正改寫產業規則的時刻。而 Jalapeño 的測試數據,只是這個漫長故事的第一個逗點。
你覺得,NVIDIA 的霸主地位在五年內會被撼動嗎?還是說,這場晶片大戰最終只會讓台積電成為最大的贏家?
本文改寫整理自公開新聞來源,原始報導由科技新報發布。
常見問題 FAQ
OpenAI Jalapeño 晶片真的比 NVIDIA GB200 快嗎?
是的,在 SemiAnalysis InferenceX 基準測試的特定情境下,Jalapeño 的推理效能確實優於 NVIDIA GB200 NVL72 和 GB300 NVL72,超低延遲情境最快可達 4.1 倍差距。但這是在特定測試條件下的結果,不代表在所有場景都能全面勝出。
OpenAI 會對外銷售 Jalapeño 晶片嗎?
短期內不會。OpenAI 硬體產品負責人 Richard Ho 明確表示,OpenAI 內部的運算需求極為龐大,連滿足自身需求都有困難,目前沒有餘力對外銷售。
Jalapeño 晶片什麼時候會正式部署?
Jalapeño 預計 2026 年稍晚以有限數量部署在 OpenAI 資料中心,並在 2027 年進一步廣泛部署。同時第二代晶片已進入深度開發階段,第三代也在進行中。
Jalapeño 的功耗表現如何?
Jalapeño 的額定功耗為 700W,但在測試工作負載中測得的持續功耗保持在 550W 或更低,顯示其能效比表現相當出色。
OpenAI 會因為自研晶片而停止使用 NVIDIA 產品嗎?
不會。OpenAI 明確表示自研晶片是整體運算資源策略的一部分,會繼續與 NVIDIA、Cerebras 等合作夥伴維持緊密合作,並非取代關係。
※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。