輝達200億美元布局AI推論！Groq機櫃出貨上看6000櫃，水冷供應鏈再迎爆發

AI需求持續擴張，輝達收購Groq之後，有望變身為大規模算力中心提供者，LPU機櫃出貨可期待自下半年大幅成長，水冷等AI供應鏈營運再旺一波。

文／林麗雪

去年底，輝達與Groq達成價值200億美元的授權與人才協議，讓Groq這間AI晶片與系統新創公司更加聲名大噪，其核心產品為專為高速執行大型語言模型設計的LPU（語言處理單元）晶片，被視為GPU在推論領域的強力競爭者，隨著AI產業從大語言模型訓練轉向大規模推論，Groq LPU訂單在去年到今年出現爆發性的成長。

AI需求為何從「訓練」轉向「推論」？Groq訂單爆發的真正原因

早在2024年，Groq就完成沙烏地阿拉伯1.9萬顆LPU的叢集部屬，去年Groq更進一步爆紅，並獲得沙國15億美元的投資，其執行長Jonathan Ross先前並明確表示，今年底前要在全球包括北美、歐洲、中東及亞洲興建超過12座資料中心，Groq標準機櫃每櫃需配置256顆LPU，若要支撐12座資料中心營運，今年Groq的機櫃出貨量必須達到1500櫃以上才能滿足其Token as a Service（推理即服務）的需求。

輝達為何押注Groq？LPU會不會威脅GPU地位

值得一提的是，去年底輝達收購Groq後，Groq技術可望透過輝達既有管道如Dell與惠普等資料中心進入傳統企業機房，不再侷限於Groq自家的資料中心，進而推升機櫃的變形需求，今年起，Groq有望從雲端服務商轉為大規模算力中心提供者，市場預估，明年Groq LPU機櫃出貨量將進一步大幅成長至4000～6000櫃。

目前Groq主流出貨為第一代LPU，主要製程為14奈米，預計今年底至明年，Groq將全面導入由三星4奈米代工的第二代LPU，這將使得單機機櫃的算力密度大幅提升，並帶動下一波機櫃的更新潮。

LPU和GPU差在哪？為何推論速度可達10倍

除了有來自沙國主權級訂單的加持，及輝達的技術認可外，Groq訂單得以快速擴張的原因，其核心的技術優勢不容忽視，如Groq採用全靜態隨機存取記憶體（SRAM）架構，將數據直接存在晶片運算單元旁，不同於傳統GPU依賴HBM（高頻寬記憶體），數據從HBM搬運到運算核心有較高的延遲；再者，在處理大語言模型時，LPU的推論速度每秒可達300～500個Token，是傳統GPU的10倍以上，這種即時速度對於AI助理、即時翻譯與自動駕駛等應用不可或缺。

而雖然單顆LPU晶片的成本不低，然由於其不需要頻繁搬運數據且不使用高耗能的HBM，LPU在產生相同數量Token時的功耗遠低於GPU，這大幅降低了資料中心的整體成本，加上Groq Cloud軟體生態的成熟，讓開發者能以極低成本、極快速度將原有的模型從CUDA環境遷移至LPU，讓許多AI初創公司不再購買硬體，而是直接訂閱Groq的推論API，這種商業模式的成功反向推動了後端機櫃訂單的擴張，並推動龐大的需求，AI供應鏈更意外的因為LPU的快速擴張，營運進一步獲得拓展。 （相關報導： 微軟也加入對川普政府提告行列　AI大廠必須相挺Anthropic的背後原因 ｜ 更多文章 ）

Groq LPU需求有多強？機櫃出貨量明年上看6000櫃

相較於去年僅數百機櫃的出貨，市場樂觀預期今年Groq LPU將有1000～2000櫃的出貨量，明年更將上看6000櫃，雖然和四大CSP廠動輒上萬的GB機櫃出貨量不可同日而語，但也是在GPU機櫃外新增的需求，能分食到商機的供應鏈，營運持續受益向上疊加。