Arm揭示終端裝置機器學習的整體策略

Arm為各種終端裝置提供ML解決方案。

憑藉著擁有業界最強大的處理器生態系統之一，Arm扮演著重要角色以加速機器學習(ML)在終端裝置的廣泛採用，同時該公司現正全力為ML工作負載強化其CPU效能與軟體支援。對此，Arm副總裁暨機器學習部門總經理Jem Davies日前清楚地描繪了市場前景、挑戰、以及Arm因應此龐大商機的整體策略。

ML導入終端裝置的趨勢才剛開始

「我們認為ML是現代電腦和處理器領域最令人振奮的進展，」Jem Davies表示。「隨著機器學習在各種裝置上的爆炸成長，我們看到了強勁的動能，而且在所有Arm服務的市場中都出現了非常有趣的使用案例。」

他認為，ML的一些最有趣的案例來自於IoT領域，利用Arm Cortex-M微控制器系列等傳統上非常小型的處理器。例如，智慧型氣喘吸入器等醫療裝置的嵌入式應用、以及從工業機器人、到語音助理、更智慧的家庭保全系統等等，甚至像數位電視，也開始納入場景辨識、畫質增強和手勢辨識等功能。

當然，其他的有趣案例還包括，廣受矚目的自駕車和駕駛輔助系統、在智慧型手機中，則是透過導入ML提升各種應用程式的效能，如更智慧的遊戲引擎、更豐富的社交媒體，以及直接建置到操作系統的工具程式，如預測文字和語音助理等。

就Arm來看，終端裝置對ML的強烈需求現在才剛開始，預計在未來幾年將大幅進展，Jem Davies指出，「使用案例正在快速增加，隨著業者更瞭解演算法以及開發社群能夠真正發揮ML效益，創造力的爆發將在未來幾年出現。」

但是，挑戰是...

然而，機遇總是帶來挑戰。Arm的挑戰在於確保客戶擁有更好的CPU以及相關的軟體和工具，以滿足今日他們對ML的開發要求，同時還要投入新產品開發，例如ML專用處理器，好為明日的需求提供更多功能。

但在客戶方面，Jem Davies看到了一些紛亂的情況，「現在，我們做很多事情只是試圖釐清業界對ML的錯誤認知，因為市場上有太多的混亂和錯誤訊息了。」

「一、兩年前，人們普遍認為，如果想在裝置上導入ML，一定得透過ML專用處理器——這是由專用處理器業者推動的觀點——所以我們常被問到哪種處理器最適合ML。但事實上，這取決於你的設計考量。因此，我們花了很多時間來解釋，小型CPU、大型CPU、多重處理器CPU、GPU或ML處理器在何種情況下最能滿足ML的設計需求。」

另一方面，軟體開發人員面臨的最大挑戰是他們應採用哪種硬體平台/處理器，才能使其軟體與裝置具有最廣泛的相容性。此外，ML模型已成為裝置開發的重要一環。過去幾年來，業界已經投入大量工作，使ML模型能更容易被理解與採用。

ML正全面影響Arm的所有產品

Jem Davies認為，ML推動了軟體的變革，而Arm的處理器和產品都是與執行軟體相關的。因此，ML幾乎影響了所有的Arm產品。

Jem Davies表示，「你可以在我們過去兩年發布的CPU中看到這一點，新款CPU都已針對ML工作負載進行效能增強。通常，每一世代都是4倍甚至10倍的升級。這也擴展到了我們最新的GPU，以及我們的Cortex-M系列。我們最近發布的Helium產品，能為微控制器提供15倍的ML效能提升。Arm專注於提供各種處理器，來為客戶提供全面性的價格、效能和功率組合。如果市場上有大量的ML工作負載，或是對ML功率效率有更高的要求，我們還能進一步延伸此作法，為所有市場提供互補的ML處理器。」

他解釋說，Arm的策略是為CPU和GPU架構增加功能，以在未來數年支援ML需求。此外，Arm還推出了一系列可擴展的NPU(神經網路處理器)，為各種市場提供更高效的ML處理，包括從汽車的高效能要求，到最小型的低功耗嵌入式微控制器。正如他所提到的，為ML選擇處理器時，並沒有一體適用的方法，ML將繼續在各種處理器上執行，而不僅是NPU。

Arm在ML新世代的優勢

Arm可說是提供了現代運算的核心架構，內建Arm核心的裝置無所不在。憑藉此一優勢，Jem Davies指出，「當ML這類的破壞式創新出現時，開發人員將首先利用我們的架構進行創新。我們最近進行了一項調查，藉以了解ML是採用哪種處理器來執行。結果顯示，最受歡迎的是Arm Cortex CPU架構，其次是Arm Mali GPU架構，這對我們是一個重大的優勢——它使我們能貼近開發人員，瞭解他們的需求，以及開發新產品時的想法。ML帶來的產業移轉是幾年前開始的，我們已看到它在各個領域蔓延。這也是Project Trillium應運而生的主因，以確保ML觀點能全面貫徹在我們的業務中。」

他解釋說，Project Trillium涵蓋Arm和第三方硬體IP，以及執行ML工作負載和應用程式的軟體。其中包括CPU和GPU強化、互補性ML處理器、以及在Arm裝置上實現ML所需的工具、生態系統和大量教育資源。

由於ML基本上是一個軟體問題，因此Arm也大量投資於支援ML開發人員。Arm NN提供了一個框架，允許ML工作負載可輕鬆地在 CPU、GPU、NPU和其他IP模塊等各種處理器上執行。

Jem Davies表示，「我們投入超過120個工程年度的資源開發Arm NN，並已將其捐贈給Linaro。現在，透過開源社群，我們的合作夥伴也可為Arm NN做出貢獻，相信它將成為跨產業的開放標準，不受任何一家公司的控制。」

透過對工具和生態系統支援的大量投資，Arm的目標是為各種終端裝置提供最廣泛、最全面的ML解決方案，並希望在未來幾年產生顯著成果。