同樣記憶體與電力要擠出更多Token！微軟：AI瓶頸須跨晶片、網路與軟體共同解

AI推論模型愈來愈大、對話脈絡愈來愈長，記憶體與電力逐漸成為比運算晶片更難繞開的硬限制。微軟（Microsoft，NASDAQ：MSFT）Azure硬體系統暨基礎設施總裁Rani Borkar 2日在SEMICON Taiwan 2026大師論壇表示，AI基礎設施的瓶頸很少能在問題出現的單一環節解決，必須從模型、編譯器、晶片、網路到供電共同設計，目標是在相同記憶體容量與電力條件下，讓更多運算資源持續工作並產出更多Token。

Borkar指出，AI推論不只要容納更大的模型，還要保存更長的上下文，並以足夠頻寬持續餵資料給運算單元。AI Agent還會反覆進行內容生成、資料檢索、工具調用與長期記憶，工作流程可能延續數分鐘甚至數小時，使資料必須在靠近運算的位置停留更久。

以微軟AI加速器Maia 200為例，Borkar表示，微軟並非只靠增加記憶體容量處理瓶頸，而是同時從模型壓縮、資料科學與架構設計降低KV Cache需求，透過軟體改善記憶體階層管理，再由晶片設計降低資料搬移成本，並讓編譯器把資料放到更接近運算單元的位置。

她說：「這些創新沒有任何一項能單獨消除瓶頸，但放在一起，就能大幅提高相同記憶體資源所交付的成果。」換言之，記憶體問題不能只被視為零組件供應問題，而是整套AI系統如何使用每一個Byte的架構問題。

微軟也重新調整Maia的叢集網路。Borkar指出，團隊設計時並未直接沿用既有網路，而是從大規模推論的效率目標倒推架構，採用雙層Scale-up網路，把網路介面控制器（NIC）功能直接整合進晶片，並搭配客製化傳輸層。此舉除降低延遲，也能簡化程式設計、改善工作負載調度，減少昂貴加速器因壅塞、故障復原或配置不當而閒置。

電力端的變化同樣迫使軟硬體共同設計。Borkar表示，AI機櫃功耗已由數十瓩升至數百瓩，資料中心園區則以吉瓦規模規劃，供電不再只是系統接上的外部條件，而是必須從電網一路設計到晶片內部。固態變壓器與800伏特直流供電可降低配電損失，電力與散熱也必須從產品定義初期就納入。

微軟Arm架構伺服器處理器Cobalt 200，則把電力控制深入每一個核心。Borkar說，每個核心均配置獨立電壓與頻率控制器，再配合每部虛擬機器的功率上限，系統可以針對非關鍵工作降低用電，同時保護重要工作負載效能，因此能在相同兆瓦數下運行更多伺服器。

她強調，產業真正該最佳化的不是峰值規格，而是整體系統能否維持產出。「目標不只是把資料搬得更快，而是讓更多運算保持在工作狀態，從每一瓦電力與每一美元中產出更多Token。」當記憶體、網路與供電餘裕同步縮小，AI基礎設施的下一步將取決於跨層共同設計，而非再由單一晶片承擔所有改善壓力。