當AI伺服器競賽從GPU算力一路延伸到記憶體容量、頻寬與功耗，記憶體正成為資料中心擴張的下一道瓶頸。美光科技（Micron Technology）今（16）日宣布，已在多個伺服器平台展示全球首款512GB DDR5 RDIMM，最高傳輸速率達9,200 MT/s；若搭載於具備24個記憶體插槽的雙路伺服器，單機DDR5記憶體容量最高可達12TB。AMD與Intel正展開平台驗證，美光預計2027年下半年配合客戶需求量產。
隨著大型語言模型（LLM）、代理型AI、即時推論及高核心數CPU工作負載快速普及，伺服器面臨的問題已不只是算力不足。當模型與資料集規模持續擴大，若主記憶體容量或頻寬跟不上，系統就必須頻繁將資料移往速度較慢的儲存層，增加資料搬移時間、能源消耗及基礎架構成本。
美光此次把單條DDR5 RDIMM容量提高至512GB，目的就是讓更大的模型與資料集直接常駐主記憶體，縮短資料與運算引擎之間的距離，並降低對SSD等儲存層的依賴。
TSV垂直堆疊 既有伺服器尺寸塞進12TB記憶體
美光指出，512GB DDR5 RDIMM的高密度，來自其垂直互連封裝技術。透過直通矽晶穿孔（Through-Silicon Via，TSV）垂直堆疊DRAM晶粒，可在單一DRAM封裝內提高容量，同時維持資料中心所需的傳輸效能。
在不改變既有伺服器規格尺寸的情況下，配置24個記憶體插槽的雙路伺服器，若全數搭載512GB RDIMM，整機記憶體容量最高可達12TB，可望支援更大規模的AI模型、記憶體內資料庫及高密度虛擬化環境。
美光資深副總裁暨雲端記憶體事業部總經理Raj Narasimhan表示，512GB RDIMM可實現數TB容量等級的伺服器，讓更龐大的資料集維持在運算引擎附近，支援更大規模的AI與資料庫工作負載、更高的虛擬化密度及更佳的功耗效率，而且不必擴大既有伺服器尺寸。
相同512GB容量 功耗較四條128GB模組降低逾60%
高密度記憶體帶來的效益不只容量提升。美光表示，相較以四條128GB RDIMM組成相同的512GB容量，單條512GB RDIMM的運作功耗可降低超過60%。
這項比較並非代表整台伺服器功耗降低60%，而是指相同記憶體容量下的模組運作功耗差異。對大規模資料中心而言，減少記憶體模組數量，可望進一步降低伺服器散熱與用電負擔，並在有限的機櫃空間內提高記憶體配置密度。
在效能方面，美光公布，在以Spark支援向量機（SVM）為基礎、受記憶體效能限制的資料分析工作負載中，512GB RDIMM相較256GB DDR5組態，效能最高可達1.4倍。
美光也將RocksDB、Redis等記憶體密集型資料庫及快取平台列為主要應用場景。透過提高單機記憶體容量，可讓更多資料留在主記憶體內，改善吞吐量、增加並行處理能力，並支援更大規模的資料集。 （相關報導： SEMI大師論壇》AI資料中心把記憶體推向缺貨！美光：HBM、DDR與SSD需求同升，邊緣裝置又來搶產能 ｜ 更多文章 ）
AMD、Intel展開驗證 瞄準次世代伺服器平台
為加快導入伺服器市場，美光目前正與AMD及Intel合作，針對次世代伺服器平台進行512GB DDR5 RDIMM驗證，以確認相容性及後續部署條件。
