科技產業報訂閱
ttc
 

Arm以全面運算實現終端裝置機器學習

Arm院士、副總裁暨機器學習事業部總經理Jem Davies

Arm的處理器技術可說是為現代運算的重要基礎。現在,Arm正試圖運用其既有優勢,推動機器學習(ML)在各種終端裝置上的廣泛應用,以維持該公司在新興機器學習市場的領先地位。

在2019年的國際電腦展(COMPUTEX 2019)上,Arm院士、副總裁暨機器學習事業部總經理Jem Davies說明了Arm對ML市場發展的看法和策略,強調Arm是市場上唯一擁有廣泛CPU、GPU和NPU產品組合的供應商,以及強大的生態系統支援。藉由採用全面運算(Total Compute)方式,Arm將能夠提供最佳的整合解決方案,以因應現今的挑戰並實現ML應用的龐大潛能。

 點擊圖片放大觀看

Arm全面運算(Total Compute)方式提供最佳的整合解決方案,實現ML應用的龐大潛能。

ML已無所不在

「毫無疑問,ML現已無所不在了,」Davies 表示。Arm估計,全球約有40億台智慧型手機,其中有85%的智慧型手機的機器學習是利用CPU或CPU+GPU來執行的,而且最常見的使用案例,包括Google翻譯、Instagram上用「Bokeh」景深拍照、語音辨識到3D安全登錄,都是在CPU上執行的。

此外,Davies 強調,「有些ML演算法正用在我們以前從未想到的領域。舉語音辨識為例,傳統上,我們需要執行像是噪音消除、麥克風分離和波束成形等音訊處理,然後再執行ML演算法。但現在,可以直接把原始的麥克風數據丟到ML演算法中,它便會自己把噪音消除。或者,我們可以透過將壓力感測器放入鞋中,偵測出你的跑步姿勢有什麼問題等。」

「我們越來越普遍看到ML以極具破壞式創新的方式被應用,此一趨勢讓很多人感到驚訝。由於終端和雲端可提供大量的數據,我們認為這將可大量釋放創造力,而Arm將努力透過我們廣泛的ML最佳化解決方案來開創各種可能性。」

ML是一個軟體問題

從Arm的角度來看,ML基本上是一個軟體問題。「ML是從CPU開始的,每台執行ML功能的裝置都有一個CPU,它負責執行程式碼或將其交給GPU或NPU。這就是我們增強Cortex-A和Cortex-M核心以更有效地執行ML的原因,同時還推出了專用的ML處理器來滿足更高的效能和功效要求。」

Davies 表示,Arm擁有獨特的優勢,可結合CPU/GPU/NPU設計人員和軟體架構師,共同為CPU/GPU/NPU最佳化程式碼,因此我們可以為在此三種處理器上執行的程式碼進行RTL模擬,無縫地實現硬體與軟體的最佳設計。

藉由全面性的作法,Davies認為Arm可以提供最靈活和整合的ML解決方案,以滿足客戶的不同要求。透過一個通用的硬體架構,Arm的目標是強化其軟體和生態系統支援,以加速ML部署,並克服現今產業面臨的碎片化挑戰。

「我們擁有最大的運算生態系統之一,但對於ML來說,它與現有的生態系統完全不同,因為有很多新業者進入此新領域,」機器學習事業部機器學習生態系統總監Kathleen Kallot表示。「與主要的合作夥伴攜手對我們來說非常重要。例如,我們正與Google合作開發嵌入式裝置用的TensorFlow Lite Micro。」

「此外,由於ML演算法業者是推動創新的關鍵,我們還需直接與他們互動,以確保他們能夠從我們的IP中獲得最佳效能。我們預期,今年和明年會有很多新的進展,相關生態系統將迅速地建構起來。」

段標:Arm的ML處理器

隨著ML興起,特定領域運算(domain-specific computing)成為市場上的流行語。作為領先的通用運算技術供應商,Davies強調,「Arm已投入特定領域市場15年之久,當然,我們提供CPU,並且隨著顯示功能日益重要,我們也開發了GPU並使其在市場上取得成功。現在,因應市場的發展,我們也進入了ML處理器領域。」

事實上,正是Jem Davies在Arm打造Mali GPU的成功故事,現在他想在ML市場中再次締造歷史。「對於某些需要更高效率的任務,客戶可能需要採用特定領域處理器來執行特定的作業負載。對我們來說,ML處理器是一款神經網路運算的特定處理器,用來執行矩陣和卷積運算。」Davies表示,「從系統的角度來看,我們不會大力鼓吹客戶採用ML處理器。因為,根據不同的使用案例,客戶需要釐清執行ML演算法的最佳方法,有時候,CPU就足夠了。」

作為Arm完整產品組合的成員之一,ML處理器擁有業界領先的5 TOPs/W功耗效率和高達4 TOP/s的出色效能。此外,憑藉著多核心擴展性,它可在單一叢集中擴展到8個NPU,取得32 TOPs,或者在網狀配置中擴展到64個NPU。「數據壓縮技術對於ML處理器的開發非常重要。運用我們在GPU和視訊方面的優勢,我們會把它帶入ML」Davies強調。

段標:採取全面性作法在ML市場取得優勢

儘管有眾多的現有和新進業者加入NPU市場,Davies相信,Arm仍然會在此領域取得優勢。他說,「與其他公司不同,我們認為ML是一個軟體問題,而不是硬體問題。 這就是為什麼我們投入大量資源讓Arm NN對開發人員來說易於使用,因為在Arm核心上高效執行軟體是我們的重要任務。」

雖然Arm並沒有搶先進入NPU市場,但他表示,這反而給了我們「後發者優勢」,讓我們可以從那些先進入市場的業者學習經驗,再提供更佳的解決方案。

由於ML市場高度分散,有許多不同的軟體和硬體架構,Davies表示,生態系統只需要一個,而且最多能容忍2或3個解決方案,數百種方案在市場上並存是不可能的。因此,隨著市場發展,許多業者勢必會被淘汰出局。特別是,許多新創業者都專注於開發ML硬體,卻沒有足夠的資源撰寫軟體與建構生態系統。

然而另一方面,Davies在ML演算法領域也看到了驚人的創新,這些新興業者對我們的生態系統至關重要,我們將盡最大努力發揮他們的專業知識,來實現更多的可能性。

他總結說,要真正開創新一代的ML使用案例,我們需要從頭開始最佳化和建構所有的關鍵組成。而Arm可以提供來自硬體、軟體和生態系統的全面運算解決方案,以滿足市場的真正需求。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: 安謀 機器學習