Arm以全面運算實現終端裝置機器學習

Arm院士、副總裁暨機器學習事業部總經理Jem Davies

Arm的處理器技術可說是為現代運算的重要基礎。現在，Arm正試圖運用其既有優勢，推動機器學習(ML)在各種終端裝置上的廣泛應用，以維持該公司在新興機器學習市場的領先地位。

在2019年的國際電腦展(COMPUTEX 2019)上，Arm院士、副總裁暨機器學習事業部總經理Jem Davies說明了Arm對ML市場發展的看法和策略，強調Arm是市場上唯一擁有廣泛CPU、GPU和NPU產品組合的供應商，以及強大的生態系統支援。藉由採用全面運算(Total Compute)方式，Arm將能夠提供最佳的整合解決方案，以因應現今的挑戰並實現ML應用的龐大潛能。

ML已無所不在

「毫無疑問，ML現已無所不在了，」Davies 表示。Arm估計，全球約有40億台智慧型手機，其中有85%的智慧型手機的機器學習是利用CPU或CPU+GPU來執行的，而且最常見的使用案例，包括Google翻譯、Instagram上用「Bokeh」景深拍照、語音辨識到3D安全登錄，都是在CPU上執行的。

此外，Davies 強調，「有些ML演算法正用在我們以前從未想到的領域。舉語音辨識為例，傳統上，我們需要執行像是噪音消除、麥克風分離和波束成形等音訊處理，然後再執行ML演算法。但現在，可以直接把原始的麥克風數據丟到ML演算法中，它便會自己把噪音消除。或者，我們可以透過將壓力感測器放入鞋中，偵測出你的跑步姿勢有什麼問題等。」

「我們越來越普遍看到ML以極具破壞式創新的方式被應用，此一趨勢讓很多人感到驚訝。由於終端和雲端可提供大量的數據，我們認為這將可大量釋放創造力，而Arm將努力透過我們廣泛的ML最佳化解決方案來開創各種可能性。」

ML是一個軟體問題

從Arm的角度來看，ML基本上是一個軟體問題。「ML是從CPU開始的，每台執行ML功能的裝置都有一個CPU，它負責執行程式碼或將其交給GPU或NPU。這就是我們增強Cortex-A和Cortex-M核心以更有效地執行ML的原因，同時還推出了專用的ML處理器來滿足更高的效能和功效要求。」

Davies 表示，Arm擁有獨特的優勢，可結合CPU/GPU/NPU設計人員和軟體架構師，共同為CPU/GPU/NPU最佳化程式碼，因此我們可以為在此三種處理器上執行的程式碼進行RTL模擬，無縫地實現硬體與軟體的最佳設計。

藉由全面性的作法，Davies認為Arm可以提供最靈活和整合的ML解決方案，以滿足客戶的不同要求。透過一個通用的硬體架構，Arm的目標是強化其軟體和生態系統支援，以加速ML部署，並克服現今產業面臨的碎片化挑戰。

「我們擁有最大的運算生態系統之一，但對於ML來說，它與現有的生態系統完全不同，因為有很多新業者進入此新領域，」機器學習事業部機器學習生態系統總監Kathleen Kallot表示。「與主要的合作夥伴攜手對我們來說非常重要。例如，我們正與Google合作開發嵌入式裝置用的TensorFlow Lite Micro。」

「此外，由於ML演算法業者是推動創新的關鍵，我們還需直接與他們互動，以確保他們能夠從我們的IP中獲得最佳效能。我們預期，今年和明年會有很多新的進展，相關生態系統將迅速地建構起來。」

段標：Arm的ML處理器

隨著ML興起，特定領域運算(domain-specific computing)成為市場上的流行語。作為領先的通用運算技術供應商，Davies強調，「Arm已投入特定領域市場15年之久，當然，我們提供CPU，並且隨著顯示功能日益重要，我們也開發了GPU並使其在市場上取得成功。現在，因應市場的發展，我們也進入了ML處理器領域。」

事實上，正是Jem Davies在Arm打造Mali GPU的成功故事，現在他想在ML市場中再次締造歷史。「對於某些需要更高效率的任務，客戶可能需要採用特定領域處理器來執行特定的作業負載。對我們來說，ML處理器是一款神經網路運算的特定處理器，用來執行矩陣和卷積運算。」Davies表示，「從系統的角度來看，我們不會大力鼓吹客戶採用ML處理器。因為，根據不同的使用案例，客戶需要釐清執行ML演算法的最佳方法，有時候，CPU就足夠了。」

作為Arm完整產品組合的成員之一，ML處理器擁有業界領先的5 TOPs/W功耗效率和高達4 TOP/s的出色效能。此外，憑藉著多核心擴展性，它可在單一叢集中擴展到8個NPU，取得32 TOPs，或者在網狀配置中擴展到64個NPU。「數據壓縮技術對於ML處理器的開發非常重要。運用我們在GPU和視訊方面的優勢，我們會把它帶入ML」Davies強調。

段標：採取全面性作法在ML市場取得優勢

儘管有眾多的現有和新進業者加入NPU市場，Davies相信，Arm仍然會在此領域取得優勢。他說，「與其他公司不同，我們認為ML是一個軟體問題，而不是硬體問題。 這就是為什麼我們投入大量資源讓Arm NN對開發人員來說易於使用，因為在Arm核心上高效執行軟體是我們的重要任務。」

雖然Arm並沒有搶先進入NPU市場，但他表示，這反而給了我們「後發者優勢」，讓我們可以從那些先進入市場的業者學習經驗，再提供更佳的解決方案。

由於ML市場高度分散，有許多不同的軟體和硬體架構，Davies表示，生態系統只需要一個，而且最多能容忍2或3個解決方案，數百種方案在市場上並存是不可能的。因此，隨著市場發展，許多業者勢必會被淘汰出局。特別是，許多新創業者都專注於開發ML硬體，卻沒有足夠的資源撰寫軟體與建構生態系統。

然而另一方面，Davies在ML演算法領域也看到了驚人的創新，這些新興業者對我們的生態系統至關重要，我們將盡最大努力發揮他們的專業知識，來實現更多的可能性。

他總結說，要真正開創新一代的ML使用案例，我們需要從頭開始最佳化和建構所有的關鍵組成。而Arm可以提供來自硬體、軟體和生態系統的全面運算解決方案，以滿足市場的真正需求。