0件商品
開源LLM推動地端推論需求 NVIDIA力圖主導邊緣AI算力商機
開源大型語言模型的發展日漸成熟，企業引入具成本效益，且能確保及逐漸增加資料主權的地端推論方案的可行性。在此背景下，NVIDIA迅速擴張產品線，將資料中心級的DGX...
目錄
- AI模型訓練由大型CSP主導推動
- LLM開發成本昂貴 僅少數企業參與
- 開源模型可讓一般企業在地端執行LLM推論
- 地端LLM部署初期成本較API方案高 然具長期投資優勢
- DeepSeek R1效能表現不低於同期OpenAI o1模型
- 地端LLM同樣需要加速器進行推論裝置 且裝置記憶體容量為可執行關鍵
- 僅部分雲端高階AI伺服器可單機推論滿版DeepSeek R1 然售價不菲
- NVIDIA DGX Station強調高記憶體容量 以滿足LLM邊緣推論的需求
- NVIDIA DGX Spark強調邊緣端小型語言模型 單機最高可推論精度INT4、參數量達200B的LLM
- NVIDIA建構完整GPU產品線 滿足各類AI運算需求
- 結語：開源模型引發地端推論需求 NVIDIA企圖搶佔邊緣AI運算市場
相關報告
關鍵字
加入已選取到「關鍵字追蹤」
使用者登入
服務加入辦法
若想立刻加入付費"Research"會員，請洽詢
客服專線：
+886-02-87125398。(週一至週五工作日9:00~18:00)
客服信箱：
member@digitimes.com (一個工作日內將回覆您的來信)
- 追溯至2000年，洞察產業脈動
- 優質報告，助攻精準決策
- 八大主題，23產業頻道涵蓋
- 七大全球數據庫，掌握市場趨勢
