SEMI大師論壇》推理模型吃掉約100倍算力！NVIDIA：AI衡量標準從每次回答轉向完成工作

生成式AI從直接回答問題，進入會拆解任務、反覆檢查並呼叫外部工具的推理與Agent時代，單次工作所需算力也隨之增加。NVIDIA（NASDAQ：NVDA）技術長Michael Kagan 2日在SEMICON Taiwan 2026大師論壇表示，推理模型為產生正確回答，投入的運算量約比傳統一次性回答高出兩個數量級，即約100倍；當AI Agent開始執行資料庫查詢、網路搜尋及軟體工具，產業衡量算力的方式也將由「每次回答需要多少運算」，轉向「完成一項工作需要多少運算」。

Kagan指出，早期生成式AI較像大型資訊檢索系統，使用者提出問題後，模型直接產生答案；推理模型則不嘗試一次解題，而是把問題拆成多個步驟，逐步處理、檢查結果，必要時回頭修正，再產生最終回答。這種過程能處理更複雜的問題，代價是推論階段需要投入更多Token與算力。

Agentic AI又在推理模型上增加工具使用能力。Agent接到任務後，可先呼叫大型語言模型規劃步驟，再執行資料庫搜尋、網路查詢或其他軟體工具，依結果反覆呼叫模型。過去人類是電腦與模型之間較慢的環節，現在改由電腦直接與模型往返，工作迴圈速度提高，也形成更持續的算力需求。

Kagan說：「運算需求正從每次回答所需的運算，轉向每一項完成工作所需的運算。」在這個轉變下，AI不再只扮演回答問題的助理，而是逐步成為能執行任務的數位工作者。企業評估AI基礎設施時，也不能只看每秒產出多少Token，而要計算在一定電力與資本下，最終完成多少可用工作。

他認為，專有模型與開放模型將並行發展，情況類似Windows、macOS與Linux。專有模型降低一般使用者取得AI能力的門檻，開放模型則讓開發者能依自有資料調整、微調並改造模型；企業為兼顧便利性與可控性，未來將同時採用兩類模型，也使模型種類及專用AI應用持續增加。

為承接推理與Agent工作負載，NVIDIA把資料中心稱為「AI工廠」。Kagan表示，發電廠把燃料轉成能源，工業工廠把材料轉成商品，AI工廠則把電力與資本轉化為可用智慧，衡量指標包括每瓦產出、輸出品質、可用性及安全性。

AI工廠的運算也從單一晶片向外擴張：Scale-up把CPU、GPU與記憶體連成機櫃級或多機櫃運算單元；Scale-out再把多個單元組成數千至數十萬顆GPU的資料中心；受限於地理、電力與施工時程，Scale-across則把不同地點的AI工廠連成跨區域基礎設施。

Kagan強調，這些系統必須從模型演算法、通訊函式庫、排程軟體，一路共同設計到電力控制、冷卻與資料中心設施，才能提高每瓦與每美元的有效產出。他說，隨AI Agent普及，「每一個Agent背後都會有一座AI工廠」，算力需求因此不再只取決於使用者問了幾個問題，而取決於AI實際承接多少工作。

（相關報導： 機器人不能在真實世界學重力！NVIDIA：Physical AI須先進數位孿生反覆犯錯 ｜ 更多文章 ）