Arm具可擴充性的機器學習解決方案 適用於多樣化應用

Arm Project Trillium平台

身為AI核心賦能技術的機器學習(ML)，已經由能辨識貓咪圖片的實驗，快速延伸至能解決健康照護、食品生產、汽車與零售業等實際問題。從物聯網終端到伺服器，鮮少有產業或是裝置，能夠不受其影響。不過，在雲端密集運算不是長期理想的解決方案，大量資料從雲端來回傳送所需的電力與成本，以及明顯的回應延遲，往往令人卻步，這對於時間要求嚴格的應用是無法容忍的。

今日ML演算法的精進，已經把應用、訓練與推論由雲端往下延伸，越來越多的工作負載也已經改由邊緣的終端裝置執行，除了有助於降低成本與提升效率，限制敏感性資料在雲端與裝置間的來回傳送次數，亦可將資料安全性極大化。

Arm Project Trillium平台提供橫跨各個產業與裝置的轉換運算的能力，它是針對ML唯一完整、異質的運算平台，可以和所有可程式化的Arm矽智財相容。此一架構未來的衍生產品，將從提供物聯網與常時啟動裝置的每秒2億次運算(2 GOPs)起，擴大至伺服器類型應用所需的每秒250兆次運算(25 TOPs)，可提供適用於所有應用需求的彈性與可擴充性。

Arm Cortex CPUs與Mali GPUs已經在多種裝置上大量生產，並具有許多可以增強ML效能的專屬功能：

1. Cortex-A76 CPU與前一代處理器相比，提供4倍的ML效能

2. Mali-G76 GPU與前一代處理器相比，效能增加3倍。

Arm Ethos神經網路處理器(NPU)從雲端、邊緣到端點，為ML推論的最低環節提供最高的通量與效率。此一系列單一核心的效能，每秒最高可以達到4兆次、2兆次或1兆次運算，並具有多核擴充性，可以在叢集內最多支援八個NPU，以及透過網狀系統最多支援64個NPU。Arm Project Trillium平台包含 Arm 類神經網路(Arm NN)，這是針對高效轉譯既有神經網路的軟體框架，以支援橫跨所有Arm可程式化矽智財的ML工作負載。

這套軟體同時透過運算程式庫(Compute Library)對Arm Cortex-A CPU、Arm Mali GPU與ML處理器提供支援，以及透過CMSIS-NN對Cortex-M CPU提供支援。隨著在多元主流市場部署ML的需求日增，Arm的AI解決方案具有足夠的彈性與可擴充性，幾乎可以滿足所有需求或使用案例。

無論專注在提升效能，或是想使成本極小化，歡迎即刻報名4月14日舉辦的「從雲端到終端 人工智慧的新世代」線上研討會，以了解Arm最新推出的ML解決方案。參考更多Arm ML使用案例與技術文件下載，請造訪我們。