0件商品
長上下文與多請求推升分層記憶體需求 通用CXL記憶體擴充先行、AI推論屬選擇性導入
DIGITIMES觀察，AI推論往長上下文、多輪對話與更多同時請求發展後，記憶體壓力已不只來自模型權重，KV Cache也會隨服務規模增加。每張GPU可用的HBM容量有產品規格上限；長上下文與同時請求增加時，KV Cache與其他資料更容易逼近可用HBM容量上限。...
目錄
- 長上下文與多請求擴大推論記憶體需求 HBM容量受GPU規格限制促使資料分層
- 模型權重容量相對固定 KV Cache隨上下文長度與同時請求數增加
- 長上下文與多請求共同放大KV Cache 邏輯容量可超過8-GPU總HBM容量
- 推論資料依存取需求分層配置 CXL擴充CPU主記憶體之外的可定址容量
- CPU主記憶體提供既有同機容量 CXL補充DIMM擴充受限後的容量需求
- CXL Type 3增加CPU可定址記憶體 CXL Switch可進一步形成共享記憶體池
- 通用CXL以主記憶體擴充為既有用途 AI推論新增KV Cache等應用情境
- 通用CXL已有資料中心實際部署 AI用CXL記憶體仍以特定應用驗證為主
- Meta已部署CXL記憶體 微軟持續驗證擴充、池化與共享路徑
- 三星電子與SK海力士推進AI應用驗證 CXL記憶體開始測試KV Cache保存與重載
- CXL產品供給已由記憶體裝置延伸至控制器、交換器、Retimer等多類伺服器平台元件
- CXL記憶體擴充方式改變零組件與整合需求 台廠由高速訊號切入平台工程
- 單機擴充增加CXL記憶體裝置 記憶體池再增加Switch與Fabric管理
- 高速與較長鏈路提高Retimer配置機率 群聯由PCIe訊號能力切入CXL
- 平台複雜度提高ODM整合責任 客製化程度決定工程價值
- 結語
相關報告
關鍵字
加入已選取到「關鍵字追蹤」
使用者登入
服務加入辦法
若想立刻加入付費"Research"會員，請洽詢
客服專線：
+886-02-87125398。(週一至週五工作日9:00~18:00)
客服信箱：
member@digitimes.com (一個工作日內將回覆您的來信)
- 追溯至2000年，洞察產業脈動
- 優質報告，助攻精準決策
- 八大主題，23產業頻道涵蓋
- 七大全球數據庫，掌握市場趨勢
