NPU非AI PC發展唯一關鍵 2024年AI NB出貨將達4,500萬台

DIGITIMES Research觀察,終端側(on device)大型AI模型的推論效果不僅與xPU的運算性能有關,模型是否有效壓縮、記憶體頻寬與容量是否足夠,皆會影響AI PC的推論...

目錄
  • AI PC運行大模型需面臨三大挑戰 模型表現、運算效能、記憶體頻寬
  • 壓縮技術助大型模型大幅瘦身及同時維持推論表現
  • 4位元量化、150億以下參數量的LLM模型將較適合內建於NB
  • AI PC運行LLM問題不僅在於運算瓶頸 記憶體瓶頸問題恐更嚴重
  • AI需求為NB處理器設計帶來重大變革 重心由CPU主導轉向異構協作並拉近記憶體
  • 2024年高階AI新機可執行多種生成式AI作業
  • 主要AI PC處理器平台運算性能比較 1H24僅高通與蘋果提供CPU以外的INT4運算力
  • 主要AI PC處理器平台記憶體頻寬比較 蘋果M3 Max處理器在NB記憶體頻寬競賽中遙遙領先
  • 2024年AI PC將有三波出貨潮
  • 2024年AI NB預計出貨將達4,500萬台 佔整體NB出貨約4分之1
  • AI PC發展機會與挑戰共存
相關報告
關鍵字
購物車
0件商品
智慧應用 影音