異質算力推動 大聯大詮鼎攜手此芯科技加速AI Agent終端應用 智慧應用 影音
231
TCA
DForum0604

異質算力推動 大聯大詮鼎攜手此芯科技加速AI Agent終端應用

  • 賴品如台北

隨著生成式人工智慧(Generative AI,GAI)加速朝邊緣裝置滲透,百億參數大型模型本地部署對晶片效能、記憶體頻寬與AI算力提出更高要求。為此,全球領先半導體零組件通路商大聯大控股旗下詮鼎集團宣布攜手此芯科技(CIX Technology)舉辦「此芯P1:異質AI算力賦能OpenClaw龍蝦盒子與AI NAS解決方案」線上研討會,聚焦通用智慧處理器「此芯P1」,透過AI 智慧體(AI Agent)與AI網路儲存伺服器(AI Network Attached Storage;AI NAS)方案,展示異質運算在邊緣AI應用場景的實際價值,協助開發者因應邊緣AI運算升級的挑戰。

面對邊緣AI應用快速發展,此芯科技推出面向邊端AI場景的高效能異質SoC「此芯P1」。此產品採用6nm製程技術,搭載12核心Armv9.2 CPU,最高主頻可達3.2GHz,並整合10核心Arm Immortalis-G720 GPU與專用NPU,整體異質運算效能達45TOPS。

同時支援最高64GB LPDDR5低功耗記憶體,記憶體頻寬可達100GB/s。在多媒體能力方面,此芯P1支援4K高更新率顯示、8K@60fps影片解碼及8K@30fps影片編碼,可靈活應用於智慧終端、邊緣運算等多元場景。

此芯科技生態經理陳嘉棟指出,隨著裝置端AI模型能力快速提升、混合專家(Mixture of Experts;MoE)架構逐漸成熟,以及AI Agent應用加速發展,邊緣AI晶片正迎來運算需求的重要轉折點。與此同時,隱私安全、即時回應與離線運作能力等需求日益受到重視,促使「端雲協同、裝置端常駐」逐步成為產業共識。

在此趨勢下,此芯P1透過CPU、GPU與NPU三核心協同架構,以及45TOPS異質運算效能及強大擴充能力,提供「一晶片多用途」的技術支援,可作為百億級大型模型本地部署的算力平台。

為深度發揮異質運算優勢,此芯科技打造NeuralOne AI軟體堆疊,目標是讓異質運算架構對開發者更透明化。此芯科技AI軟體系統技術專家田洋表示,NeuralOne AI軟體堆疊提供從NPU驅動、編譯器工具鏈到上層應用的完整支援,並相容TensorFlow、PyTorch、ONNX等主流框架;同時透過CIX AI ModelHub完成超過140個主流模型的預編譯與最佳化,涵蓋電腦視覺、語音、大型語言模型(Large Language Model;LLM)與多模態任務,協助開發者加速AI導入。

針對AI Agent應用需求,此芯科技也展示基於Docker打造的分散式Agentic陣列方案。系統採用主從(Master-Worker)架構,由Master節點負責任務調度,Worker節點執行LLM推論與Skill任務,提升邊緣環境下的協同運算與自主能力。

此外,透過處理器運算矩陣(xPU)整合視覺感知、語音互動、多模態理解及設備控制能力,並以本地優先架構結合本地向量資料庫與外部知識庫的檢索增強生成(Retrieval-Augmented Generation;RAG)技術,強化長期記憶能力,不僅兼顧用戶資料隱私,也提升邊緣場景下的即時反應與離線運作能力。

除AI Agent應用外,此芯科技亦將此芯P1導入AI NAS領域,以異質AI算力賦能邊緣儲存與智慧應用。憑藉Armv9.2架構的12核心CPU、10核心GPU與30TOPS NPU,搭配內建錯誤修正碼(Error-Correcting Code;ECC)的DDR記憶體及6槽(6-Bay)磁碟陣列設計,可7×24小時不間斷支援AI NAS的穩定運作需求,提供兼具資料安全與高效能的儲存基礎。

在軟體層面,透過統一可延伸韌體介面(Unified Extensible Firmware Interface SystemReady;UEFI SystemReady)認證,並支援Linux核心與ZFS檔案系統,實現韌體層級的多作業系統相容;同時,搭配基於Debian 12打造的SDK生態,以及開源NAS OS前端介面,可大幅降低AI NAS產品開發與導入門檻。

研討會中,此芯科技多媒體軟體專家樓展也展示多項已完成深度優化整合的應用,包括Frigate智慧監控,可提供即時、低延遲的多路AI監測分析;Jellyfin多媒體伺服器,可為多用戶提供影片即時轉碼與串流服務;CIX智慧相簿則在保護隱私時,提供用戶快速搜尋及方便管理的服務;而CIX語音助理除支援自然語音互動外,也能與智慧相簿串接,實現語音搜尋影像功能。

未來,此芯AI NAS將持續朝「多Agent管理系統」、「本地AI算力擴充」、「串接雲端AI算力」及「支援商用AI NAS OS」四大方向發展,推動產品於更多場景的商業化部署,進一步朝全方位私人智慧助理邁進。

「此芯P1:異質AI算力賦能OpenClaw龍蝦盒子與AI NAS解決方案」線上研討會全程透過大聯大旗下「詮鼎大大芯」平台直播,欲掌握更多AI與邊緣運算發展方向,可前往線上回看。