新思科技針對高效能神經網路推新款軟體庫

新思科技日前宣布推出新的embARC機器學習推論軟體庫(embARC Machine Learning Inference software library)，當SoC開發人員採用新思科技DesignWare ARC EM與HS DSP處理器IP、進行高效能神經網路SoC設計時，可大幅提升開發效能。

embARC MLI軟體庫提供開發人員優化的功能，可於神經網路各層階中執行， 因此對於語音偵測、語音辨識及感測器資訊處理等需要低功耗與小面積的應用，可大幅減少其處理器的週期數(cycle count)。embARC MLI軟體庫可透過embARC.org取得，該網站專門提供開發人員取得支援ARC處理器的免費開源軟體、驅動程式、作業系統與中介軟體。

耐能智慧(Kneron)創辦人暨執行長劉峻誠表示，為了提供客戶語音觸(voice triggering)與語音辨識的超低功耗AI解決方案，需要ARC EM DSP這類功耗及面積效率高的處理器IP。藉由提供embARC機器學習推論軟體庫，新思科技提供開發人員所需的基本要件，能在以ARC為基礎的設計上快速實現機器學習運算。

embARC MLI軟體庫支援ARC EMxD與HS4xD處理器，為中小型機器學習模型的有效推論提供核心要件。它能有效率地執行諸如卷積運算、長短期記憶單元、池化運算等操作實作、修正線性單元等激勵函數，以及包括填充、轉置、串接等資料選路的操作，同時還能減少功耗與記憶體使用量。

舉例來說，像是CIFAR-10等低功耗神經網路用的基準，在ARC EM9D處理器上運作時，比起同級處理器能減少4倍的週期數。此外，MLI軟體庫能在各種神經網路層，例如：深度2D卷積、全連結的基本RNN單元和LSTM單元，帶來平均3到5倍的效能，而針對2D卷積層最高可提升效能達16倍。

新思科技IP行銷副總裁John Koeter表示，對邊緣裝置的嵌入式機器學習功能來說，功耗與晶片面積是很重要的考量。藉由讓各式神經網路在高效能的ARC EM和HS DSP處理器上運作，新思科技擴展一套ARC處理器供開發人員選擇，以便開發出高效能的AI設計。