美國AI晶片新創d-Matrix在今年的Hot Chips大會上丟出一個頗具挑釁意味的數字：他們的推論晶片Raptor，頻寬密度比輝達還沒發表的Rubin架構高出20倍。這不是個小數目，尤其當你拿來比較的對象是產業龍頭「還沒問世」的次世代產品。
這家成立於2019年的新創，走的路線跟多數AI晶片公司不太一樣。他們專攻AI推論，也就是模型訓練完成之後、實際拿來產生回答的那一塊。Raptor的核心賣點是一種叫做3D DRAM的堆疊式記憶體技術，把邏輯晶片直接疊在最多四層的記憶體上面。這個概念有點類似AMD處理器上的3D V-Cache，但d-Matrix說他們做得更極端——每傳輸1GB資料的功耗，號稱比現有HBM方案低了13.5倍。
數字聽起來很驚人，但理解這顆晶片的關鍵在於它的定位。Raptor單卡記憶體32GB，剛好卡在SRAM跟HBM之間那個尷尬地帶。換句話說，它不是要取代輝達的GPU，而是想填補現有架構在推論階段的效率缺口。d-Matrix計畫把這個晶片橫向擴展到機櫃級別，最多72張卡串在一起，打造每秒拍位元等級的總記憶體頻寬，專門應付大型語言模型那種越來越長的上下文視窗需求。
效能數據也有具體數字支撐。d-Matrix在現場展示了GLM-5.2跟Kimi K3兩個模型上的表現，每位使用者每秒分別能處理2,121個和785個tokens。對有在實際操作AI應用的人來說，這個數字代表的意義很直接——回應速度越快，能應付的同時在線人數就越高，營運成本自然往下降。
編輯觀點：從產業面來看，d-Matrix這次的宣稱有個微妙的時間差問題——他們拿來對標的Rubin是輝達「還沒發表」的產品，連正式規格都還沒公開。這種打法在科技新創圈不算少見，但風險也很明顯：萬一輝達正式發表時的數據不如預期，那d-Matrix贏了面子；如果輝達端出來的數字更好看，這場仗就難打了。對台灣的半導體供應鏈來說，不管誰贏，台積電的先進封裝產能都是關鍵資源，這才是確定會發生的商機。
不過市場從來不會只有一種聲音。就在d-Matrix發表Raptor的同時，輝達也在Hot Chips上拋出另一個策略布局——他們要把NVLink高速互連技術授權給第三方客製化XPU使用。這招很有意思，等於是在說：就算你未來不買我的GPU，只要你的AI工廠用我的互連架構，我還是能卡住關鍵位置。
輝達的盤算是，未來的AI基礎設施不會只有GPU一種處理器，而是走向異質運算跟標準化網路的混合模式。把NVLink變成某種「通用介面標準」，壓力會直接落在超微半導體的Infinity Fabric和英特爾的Ultra Path Interconnect身上。這已經不只是晶片對晶片的競爭，而是整個資料中心互連架構的規格戰。
話說回來，d-Matrix的Raptor目前還在樣品階段，量產時程跟實際客戶導入狀況都還沒有具體時間表。技術展示跟大規模部署之間，往往隔著好幾道工程驗證的關卡。不過可以確定的是，AI推論這塊市場正在以驚人的速度分裂出各種技術路線，從記憶體架構到互連標準，每個環節都有人在嘗試打破既有框架。
對台灣的半導體產業來說，這些新創公司的設計就算最終沒有大規模量產，光是測試驗證階段的訂單和後續的設計變更需求，就已經是實質的生意。台積電的先進封裝產能、日月光等封測廠的後段製程能力，都會在這一波AI晶片多元化的趨勢中找到新的著力點。
你的下一步思考：如果你正在評估AI推論硬體的採購或導入，不妨把d-Matrix的頻寬宣稱放在一旁，先問自己一個實際問題——你手上的模型工作負載，是卡在記憶體頻寬、還是卡在運算速度？這兩個問題的答案，會決定Raptor這類架構對你有沒有真實價值。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
d-Matrix Raptor晶片什麼時候會正式上市？
目前d-Matrix僅在Hot Chips大會上發表Raptor晶片的技術規格與效能展示，尚未公布明確的量產時程與上市日期。
Raptor的20倍頻寬密度是跟輝達哪顆晶片比？
d-Matrix宣稱Raptor的頻寬密度比輝達尚未發表的次世代Rubin架構高出20倍。由於Rubin架構的正式規格尚未公開，此數據目前無法由第三方驗證。
AI推論晶片跟AI訓練晶片有什麼不同？
AI訓練晶片負責讓模型從數據中學習參數，需要極高的運算精度與大量平行運算能力；AI推論晶片則負責讓已訓練好的模型實際執行判斷與生成回答，更注重低延遲、高吞吐量與能源效率。
NVLink Fusion技術會影響其他晶片廠商的競爭力嗎？
輝達將NVLink授權給第三方XPU使用，可能對超微半導體的Infinity Fabric和英特爾的Ultra Path Interconnect形成競爭壓力。這項策略讓輝達有機會在AI基礎設施的互連層級維持關鍵影響力，即使部分系統不採用輝達的GPU。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
About the Author
