SEMI大師論壇》AI Agent單一任務Token需求可達聊天300倍！微軟提出「智慧良率」，從晶片一路算到資料中心

AI基礎設施競賽從晶片數量、資料中心規模一路推高至吉瓦（GW）級電力，但微軟（Microsoft，NASDAQ：MSFT）認為，下一階段不能只看投入多少資本、晶片與能源，而要追問這些資源究竟轉化出多少可負擔、可實際運用的智慧。微軟Azure硬體系統暨基礎設施總裁Rani Borkar 2日在SEMICON Taiwan 2026大師論壇指出，單一AI Agent任務使用的Token數量，可能達一般聊天互動的300倍，若產業仍只靠增加晶片、記憶體、光纖與電力支撐成長，成本與供應壓力將持續放大。

Borkar以半導體產業最熟悉的「良率」（yield）說明AI基礎設施接下來的衡量方式。她表示，晶圓良率關心的不是製程多優雅、研發花了多少年，而是「最後真正產出了什麼？」同一套思維如今應從晶圓製造延伸至晶片、伺服器、網路、資料中心、模型與AI Agent協作框架，檢視整套系統能否把資本、瓦數及硬體轉化為有用成果。

她指出，全球AI使用率目前約占工作年齡人口18%，且多數應用仍停留在「一個人、一個提示、一個回答」的聊天模式；可自主推理、規劃、使用工具並執行多步驟工作的Agentic AI，現階段主要集中在軟體工程領域，觸及人口約僅0.5%。一旦這類應用擴及各產業與職務，基礎設施所承受的負荷將明顯高於現有聊天式AI。

不過，擴充單一環節不代表終端產出會等比例增加。Borkar舉例，若一套系統有七個環節，每一層效率均為80%，層層相乘後，整體效率只剩約20%。她說：「任何一層的容量都只是起點，真正的衡量標準，是這些層能否一起運作，讓整個系統產生有用的輸出。」

這也是微軟所稱「Yield Imperative」的核心。若以半導體語彙理解，可視為把良率概念擴大為AI的「智慧良率」：不只計算資料中心裝了多少加速器、每秒產生多少Token，而是衡量每一瓦電力、每一位元記憶體與每一美元投資，最後換得多少可用智慧與實際工作成果。

Borkar認為，過去產業面對效能需求，通常採取在封裝內放入更多矽晶片、在旁邊配置更多記憶體、供應更多電力並增加光纖的做法，每一代雖帶來進步，新增效能所需的晶圓、瓦數與土地也愈來愈多。這不代表產業不必擴產，而是下一個數量級的進步，不能只靠相同方法持續堆疊投入。

她主張產業需同步走兩條路，一方面持續改善既有架構的效率、利用率與成本，另一方面則從新架構、新材料，以及模型和系統設計方式改變成長曲線。當記憶體、網路或電力出現瓶頸時，解方也往往不在瓶頸所在的單一層，而要跨越晶片、系統與軟體共同調整。

Borkar強調，Token本身並不是終點，AI產出還必須進一步轉化為企業生產力與社會價值。她說，這個年代最重要的問題，仍與半導體產業數十年來追問的一樣：「真正產出了什麼？」當AI能以可負擔的成本普及，並讓個人與企業在其上創造價值，才算達到完整的有效產出。