當Hot Chips 2026大會在史丹佛大學進行的第三天，一個數字震驚了在場所有半導體工程師與分析師：每秒3,431組Token的輸出速度。這是NVIDIA Gorq 3 LPX機櫃在Gemma 4 31B模型推理任務中的實測表現，對比當前公開API服務最佳的每秒870組Token，整整高出四倍。
四倍，不是百分之四，也不是「有感提升」。在AI算力軍備競賽已進入每瓦效能斤斤計較的時代，這個數字意味著一座資料中心的獲利模型可能必須重新計算。更別提這套系統已經進入「全面生產」狀態——不是概念驗證，不是工程樣品，是黃仁勳口中那個「已經可以出貨」的階段。
但真正讓筆者坐在電腦前反覆咀嚼這份規格書的，不是那顆擁有500 MB SRAM的Groq 3 LPU本身，而是NVIDIA這次端出的整套戰術思維：用LPU加速解碼、用Rubin GPU處理密集運算、再用Spectrum-X網路架構把最多51萬2千顆GPU串在一起。這不是單一產品的發表，這是一整套AI工廠的流水線升級方案。
表象：從GB300到Gorq 3 LPX，NVIDIA在打什麼算盤？
如果只看新聞稿，你可能會以為NVIDIA只是又推了一款效能更強的加速卡。但熟悉半導體產業節奏的人都清楚，真正的重點從來不是硬體規格，而是「它被放在機櫃的哪個位置、跟誰放在一起、怎麼接線」。
Gorq 3 LPX機櫃的設計邏輯，其實透露了NVIDIA對AI推理市場的終局判斷：未來資料中心不會只有一種運算單元。Rubin GPU擅長處理密集的矩陣乘法，但碰到需要低延遲、高吞吐的Token生成任務時，Groq LPU反而更游刃有餘。兩者協同運作，各自負責模型的不同層級，這才是NVIDIA真正的護城河——不是單一晶片，而是「怎麼讓不同晶片一起工作」的系統整合能力。
編輯觀點：從產業面來看，NVIDIA這次的Gorq 3 LPX發表，與其說是技術突破，不如說是對競爭對手的戰略封鎖。 AMD的MI系列、Google的TPU、甚至Cerebras的晶圓級晶片，都在推理效能上追趕。但NVIDIA選擇用「機櫃級別的協同運算」來回應——你要追單顆晶片的效能，我直接讓不同架構的晶片分工合作。這就像下圍棋，對手還在研究怎麼吃掉你一顆子，你已經在布局整個棋盤。對一般企業來說，這代表未來採購AI硬體時，不能只看單晶片效能，而是要考慮整櫃系統的搭配彈性——而這恰恰是NVIDIA最擅長的遊戲。
真相：水冷、SRAM與那驚人的640 TB/s頻寬
數字會說話，但數字也會騙人。讓我們拆解一下Gorq 3 LPX的核心規格：256顆LPU、128 GB的晶片內部SRAM、640 TB/s的傳輸頻寬。這些數字背後藏了兩個關鍵訊息。
第一個是水冷已經不是選配，而是標配。全水冷設計代表NVIDIA對這套系統的功耗密度有充分認知——它會很燙，而且會燙到傳統氣冷無法應付。這對資料中心營運商來說，是一個明確的訊號：如果你還在用氣冷機房，未來幾年你可能連NVIDIA的新設備都裝不進去。
第二個訊息藏在SRAM的配置邏輯裡。LPU內建大量SRAM，目的是讓模型權重盡可能靠近運算單元，減少從HBM搬運資料的延遲。這在推理任務中是致命的關鍵——誰能把資料搬得更近、搬得更快，誰就能在Token生成的競賽中勝出。640 TB/s的頻寬，不是為了好看，是為了讓256顆LPU在協同運算時不會互相等對方。
「Groq 3 LPU的設計初衷，就是為了縮短生成Token的延遲，」NVIDIA在Hot Chips大會上的技術簡報這麼說。這句話聽起來像公關稿，但如果你實際跑過大規模推理部署，就會知道延遲每降低10毫秒，對終端用戶體驗的提升是碾壓級的。
各方角力：Scale-Up、Scale-Out、Scale-In、Scale-Across，誰的架構說了算？
NVIDIA這次一口氣把四種擴展架構全部搬上檯面：Scale-Up（單櫃內互連）、Scale-Out（機櫃間網路）、Scale-Across（跨資料中心）、Scale-In（功能整合）。這不只是在定義技術名詞，更是在定義整個產業的標準。
過去幾年，業界對Scale-Out的討論大多停在「能不能串到1萬顆GPU」。但NVIDIA用Spectrum-X證明了，透過多層網路拓樸，單一系統可以串接512,000組GPU——比先前兩層交換器架構的2,048顆限制，整整擴展了250倍。這不是漸進式改良，這是跳躍式的架構重構。
更有趣的是他們對Scale-In的詮釋。BlueField-4網路平台將虛擬私有雲、儲存網路、資安防護、管理監控全部塞進一張智慧網卡。這背後的邏輯很簡單：與其讓資料中心裡充滿各種功能不同的盒子，不如把功能濃縮到最小單位。省空間、省電、省維護人力——這些都是雲端服務商最在意的營運成本。
「Spectrum-X的多層網路架構讓單一節點失效時，整體網路仍能維持90%的頻寬，」NVIDIA的網路部門技術主管在大會問答環節如此說明。這句話在一般報導中可能被輕輕帶過，但對任何管過大規模叢集的人來說，這簡直是救命稻草——節點失效是常態，能維持90%頻寬代表你的SLA（服務等級協議）不會因為幾顆GPU掛掉就崩盤。
深層影響：AI推理的單位經濟學正在被改寫
讓我們把鏡頭拉遠。Gorq 3 LPX的四倍效能提升，放在更大的產業脈絡下，代表的是AI推理的「單位成本」正在快速下降。同樣的電力、同樣的機櫃空間，現在可以產出四倍的Token。這對正在燒錢營運AI服務的新創公司來說，可能就是從「每月虧損」變成「損益兩平」的那條線。
但這也帶來一個殘酷的現實：硬體效能的提升，永遠不會讓軟體工程師變輕鬆。相反地，當底層架構變得更複雜——同時有LPU、GPU、不同網路拓樸、水冷散熱——維運團隊需要的技能組合只會愈來愈高。筆者最近跟幾位資料中心營運主管聊過，他們共同的焦慮是：「設備越來越強，但找得到會管的人越來越少。」
NVIDIA顯然也意識到這點。DOCA API的提出，某種程度上就是為了降低程式設計師直接操作底層網路的門檻。但API能解決的終究是開發面的問題，真正硬派的硬體故障排除、散熱管理、網路調優，還是需要人力。
未解之問：當51萬顆GPU同時運作，然後呢？
Spectrum-X能把512,000顆GPU串在一起，這是技術上的重大成就。但筆者想追問的是：什麼樣的模型訓練或推理任務，需要用到51萬顆GPU？ 這不是質疑NVIDIA的技術能力，而是好奇實際的應用場景。
如果是訓練未來的GPT-6或Gemma 5，參數量可能突破百兆等級，51萬顆GPU的叢集確實有其必要。但如果只是日常的推論服務，把太多GPU串在一起，反而可能因為網路延遲而稀釋掉效能優勢。NVIDIA給出的答案是「訓練更大模型與提高推論部署規模」，但這個答案還不夠具體。
另一個沒有解答的問題是：當Gorq 3 LPX跟Vera Rubin系統搭配時，軟體層怎麼分配運算任務？ 哪幾層給LPU跑、哪幾層給GPU跑、中間的資料傳輸怎麼最佳化？這些問題的答案，決定了這套系統在真實機房裡到底能發揮幾成功力。NVIDIA在Hot Chips上展示了硬體規格，但軟體生態系的成熟度，恐怕才是最終的決勝點。
如果把AI資料中心比喻成一間廚房，GPU是爐灶、LPU是微波爐、網路是傳菜動線。NVIDIA這次把爐灶和微波爐都升級了，傳菜動線也重新拉過。但最後端出來的菜好不好吃，還是要看廚師——也就是系統整合商和軟體工程師——怎麼運用這些工具。硬體給了你四倍的天花板，但實際能摸到多高，永遠取決於軟體和維運的功力。
寫在最後，給正在評估AI基礎建設的決策者三句話： 第一，別只看單晶片效能，把機櫃級的協同運算能力納入採購評估。第二，水冷不是未來式，是現在式，機房基礎設施的規劃請直接跳過氣冷方案。第三，硬體採購預算後面，記得編一筆更大的人力培訓費用——因為這些新系統，不會自己照顧自己。
本文改寫整理自公開新聞來源，原始報導由T客邦發布。
常見問題 FAQ
Gorq 3 LPX的4倍效能提升是在什麼條件下測出來的？
這項數據來自NVIDIA在Hot Chips 2026大會公布的測試結果，使用Gemma 4 31B模型、上下文長度為100K組Token的推理任務，對比對象為目前公開API服務的效能參考指標（每秒870組Token）。實際部署時的效能會因模型架構、硬體配置與網路環境而有所差異。
Gorq 3 LPX可以跟現有的NVIDIA GPU系統搭配使用嗎？
可以。NVIDIA特別說明Gorq 3 LPX機櫃能與Vera Rubin系統相互搭配，讓Rubin GPU與Groq LPU協同進行AI模型的不同層級運算，藉此提升解碼效能與Token輸出量。但需要對應的軟體堆疊與API支援才能發揮最佳效果。
Spectrum-X網路架構跟傳統乙太網路交換器有什麼不同？
Spectrum-X是NVIDIA專為大規模AI叢集設計的多層網路架構，最大亮點是單一系統可連接512,000組GPU，遠超傳統兩層交換器拓樸的2,048組限制。它還具備進階最佳化路由功能，可在節點失效時維持90%的整體網路頻寬，大幅提升資料中心的可靠度與韌性。
Gorq 3 LPX什麼時候可以買到？
NVIDIA已於2026年8月的Hot Chips大會宣布Gorq 3 LPX機櫃進入全面生產（Full Production）狀態。實際出貨時程與價格未在大會上公布，建議企業用戶直接洽詢NVIDIA或其授權經銷商。
水冷設計會讓機房改裝成本很高嗎？
全水冷設計確實會增加前期基礎設施的建置或改裝成本，包括冷卻液分配單元、管路配置與漏水監控系統等。但從NVIDIA的設計邏輯來看，水冷已是高效能運算的必經之路，長期可透過更高的運算密度與更低的風扇能耗來攤平初期投資。建議在評估時將3至5年的總擁有成本納入計算。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
About the Author
