GPU再快也怕網路塞車！輝達Spectrum-6串聯逾10萬顆GPU，網路效率最高達95%

當AI工廠從數千顆GPU擴大至數十萬顆GPU，一條速度過慢或發生壅塞的連線，就可能讓大量加速器陷入等待，再高的GPU峰值效能也難以完全發揮。輝達（NVIDIA，NASDAQ：NVDA）今（22）日發表新一代Spectrum-6乙太網路交換器系統，每秒傳輸速率達102.4 Tb，容量為前代兩倍；輝達宣稱，Spectrum-X平台可在超過10萬顆GPU的部署環境中維持最高95%的網路效率，CoreWeave、微軟、Nebius、SpaceXAI與Tesla將成為首批導入業者。

Spectrum-6專為Vera Rubin平台及百萬瓩級、相當於1GW規模的AI工廠設計。隨著前沿模型、代理型AI與物理AI需要愈來愈多GPU協同運算，網路已從資料傳輸工具，轉變為決定GPU利用率、模型訓練時間與每詞元成本的核心基礎設施。

傳統企業資料中心的乙太網路，主要處理使用者、伺服器及儲存系統間的南北向流量，但大型AI模型訓練及推論，需要數千乃至數十萬顆GPU持續交換資料，形成龐大的東西向流量。

尤其在集體通訊工作中，各個GPU必須同步交換運算結果。只要部分節點出現延遲、封包遺失或網路壅塞，就可能迫使其他GPU等待，導致昂貴的加速器無法維持滿載。

因此，單看GPU的理論峰值效能，已不足以衡量AI工廠的實際產出。交換器頻寬、網路路由、壅塞控制、故障復原及光學傳輸，均會影響整套系統能否有效擴展。

Spectrum-6是新一代Spectrum-X乙太網路平台的核心，單一交換器系統每秒傳輸速率達102.4 Tb，容量較前代提高一倍，並與ConnectX-9 SuperNIC、網路軟體及Vera Rubin平台共同設計。

不同於通用型乙太網路，Spectrum-X導入自適應路由、進階壅塞控制及即時遙測，能根據網路狀況在多條可用路徑間平衡流量。當部分連線發生故障時，系統也可重新安排傳輸路徑，並針對未能抵達目的地的資料進行復原。

輝達表示，Spectrum-X的AI網路效能最高可達通用型乙太網路的1.6倍，即使部署環境超過10萬顆GPU，網路效率仍最高可維持95%。透過硬體加速的多平面網路拓樸，資料中心所需的交換器數量則可減少1.7倍。

不過，上述數字均為輝達依特定測試或設計條件提供的結果，實際表現仍取決於模型架構、叢集規模、網路拓樸、軟體設定及工作負載。

（相關報導： 緯創首座美國AI製造廠啟用！德州投資7億美元量產輝達GB300，下一步接Vera Rubin ｜ 更多文章 ）

CoreWeave（NASDAQ：CRWV）、微軟（NASDAQ：MSFT）、Nebius（NASDAQ：NBIS）、SpaceXAI與Tesla（NASDAQ：TSLA）將成為首批導入Spectrum-6的企業。其中，CoreWeave、微軟與Nebius將部署搭載Spectrum-6的Vera Rubin基礎設施，提供開發者、新創公司及企業使用。

CoreWeave網路產品總監Min Jun表示，網路是AI工作負載能否在大規模環境下維持效能的關鍵，導入Spectrum-6及液冷式Spectrum-X基礎設施，將有助於提供前沿模型訓練與推論所需的頻寬、韌性與效率。

CoreWeave也已採用搭載Spectrum-6晶片的SN6600-LD，建置Vera Rubin NVL72交換網路。這套液冷高密度交換器機架，每機架可提供1.64 Pb／s容量，較前代氣冷交換器提高100%，並透過無阻塞、多平面及多軌網路架構連接Vera Rubin GPU。

Nebius全球合作夥伴關係副總裁Laurelle Roseman則指出，在百萬瓩規模下，效能取決於每顆GPU能否保持同步，「避免單一緩慢連線拖慢整項工作」。她表示，Spectrum-6正是針對這項問題設計，即使客戶的工作負載持續擴大，仍須維持高速與韌性。

Spectrum-6同時支援可插拔式光學元件及共同封裝光學元件，產品也能採用液冷，與Vera Rubin運算機架形成端到端的冷卻架構。

傳統可插拔式光收發器需要將電訊號從交換器晶片傳送至面板上的光模組，隨著傳輸速度與交換器頻寬提高，訊號傳輸距離所帶來的功耗及散熱問題也愈來愈明顯。共同封裝光學則將光學元件移近交換器晶片，可縮短高速電訊號傳輸距離。

依輝達提供的資料，Spectrum-X光子技術相較可插拔式架構，可提高5倍能源效率，平均故障間隔時間改善10倍。CoreWeave、Lambda與Oracle（NYSE：ORCL）旗下OCI均為首批採用業者。

對規模達數十萬顆GPU的AI工廠而言，交換器與光模組本身的耗電、散熱及故障率都會被放大。這也使CPO、矽光子及液冷技術，從個別零組件升級為影響資料中心總體持有成本的關鍵。

Spectrum-6也反映輝達正在將競爭範圍從GPU，延伸至網卡、交換器、DPU、光學元件、網路軟體與冷卻系統。

輝達將這項策略稱為「垂直整合、水平開放」：一方面共同設計晶片、系統及軟體，另一方面仍支援標準乙太網路、開放式網路作業系統及不同RDMA傳輸模式，降低客戶採用完整平台時的整合難度。

（相關報導： 緯創首座美國AI製造廠啟用！德州投資7億美元量產輝達GB300，下一步接Vera Rubin ｜ 更多文章 ）

當AI工廠規模進入百萬瓩級，運算效能已不再取決於單一晶片，而是由GPU、CPU、網路、光學傳輸、電力及冷卻系統共同決定。Spectrum-6的戰略意義，也不只是賣出更多交換器，而是讓輝達進一步掌握從GPU到整座AI工廠的技術堆疊。