AI代理不只拚GPU！Arm聯手富士通、Meta、OpenAI推CPU新基準

AI代理正從「回答問題」走向長時間檢索資料、呼叫工具並接續完成任務，資料中心的效能考題也不再只有GPU算得多快，CPU如何維持大量代理並行運作、調度工作並讓加速器持續滿載，同樣成為關鍵。Arm（NASDAQ：ARM）提出一套面向代理式AI的CPU評估方法，獲富士通、Meta與OpenAI支持；Arm並公布Signal65的獨立分析，指出在七項工作負載中，Arm AGI CPU的機櫃級效能模型平均為AMD EPYC 9755的1.99倍。

相較於收到提示後生成一次回覆，AI代理會持續保留任務狀態、檢索上下文、呼叫工具與服務，再檢查執行結果並決定下一步。當大量代理同時運作，運算、記憶體、儲存與輸入／輸出都必須支援高併行與持續執行，CPU也得處理工具呼叫、資料存取及任務編排等工作。

在AI主節點中，CPU還要負責作業調度、資料準備與傳輸，避免昂貴的加速器因等待資料而閒置。Arm指出，代理式AI不會取代既有雲端原生工作負載，而是在搜尋、服務呼叫、程式碼執行和資料請求等需求上再加一層負載。Arm新聞稿援引OpenRouter資料稱，自2026年2月以來，AI代理Token使用量約成長14倍。

Arm認為，傳統CPU效能指標未必能充分呈現AI代理的實際需求。新的評估方法聚焦三個面向：採用具代表性的AI代理應用情境、讓CPU效能測量可重複執行，並透過端到端結果確認效能改善是否轉化為更好的任務完成效果。

元件級測試可減少模型推論、網路等因素對結果的干擾，觀察CPU本身的表現；端到端測試則進一步檢視系統是否真的更有效率地完成工作。Arm表示，這套方法會隨代理架構與軟體演進持續調整。富士通、Meta與OpenAI均支持建立更具代表性、可比較的評測方式。

富士通資深副總裁、富士通研究所先進運算開發部門負責人Toshio Yoshida表示，開發下一代高效能、高能效Arm架構CPU產品FUJITSU-MONAKA的過程中，富士通體認到透明、可重複且具代表性的評測體系的重要性，因此支持Arm推動產業協作。

Meta軟體工程師Abhishek Dhanotia指出，代理式AI進入生產部署後，業界需要更清楚掌握不同工作負載如何使用底層基礎設施資源；一致的比較標準可為系統後續演進提供參考。OpenAI全球前線部署工程負責人Colin Jarvis則表示，AI系統正從生成回應，進一步透過推論、工具使用與軟體環境互動完成複雜任務，因此理解任務編排、工具執行等環節的基礎設施效能，將愈來愈重要。

依Arm公布的資料，Signal65以相同基準測試腳本比較Arm AGI CPU與AMD EPYC Turin，並根據伺服器級效能實測資料建立機櫃級效能模型。七項工作負載測試中，Arm AGI CPU的模型平均效能為AMD EPYC 9755的1.99倍；細分項目來看，工具呼叫場景約為對比平台的1.7倍，AI代理工作流程與任務編排約2倍，推論與規劃約2.2倍。

在另一項比較中，Arm AGI CPU相較AMD EPYC 9965，沙盒建立延遲最多降低45%。沙盒是代理執行任務時可使用的隔離環境，建立時間縮短，有助代理更快進入執行階段；不過實際效益仍會受到系統配置與工作負載影響。

Arm AGI CPU以高核心密度、每核心專屬記憶體配置與高頻寬I/O為設計特點，瞄準代理式AI持續運作的工作型態。Arm也在本週舉行的開放運算計畫全球峰會（OCP Global Summit）推動貢獻AGI CPU參考伺服器；Meta的Yosemite YV5則將Arm AGI CPU導入OCP機櫃級設計。

資料中心受限於功耗、散熱與實體空間，單看處理器理論算力，難以回答營運商最關心的問題：在既定機櫃條件下，系統能長時間完成多少有效工作。Signal65分析以伺服器級實測結果建立機櫃級模型，因此「1.99倍」應理解為特定測試及模型條件下的比較結果，不能直接等同所有實際部署環境都能取得相同差距。

隨著AI代理從回應提示詞轉向持續完成任務，CPU效能的評估也將從單一峰值指標，延伸到並行處理能力、持續吞吐量與任務完成效果。Arm提出的新方法能否成為業界廣泛採用的比較基準，仍有待更多不同平台、工作負載與實際部署結果驗證。