智慧應用 影音
泰富國際
Automation

人工智慧運算從雲端擴展至邊緣 微型化軟硬體方案蓬勃發展

軟硬體大廠參與助力下 TinyML生態鏈日趨成熟

人工智慧發展日趨成熟,初期主要由雲端負責運算與推論工作已逐漸向邊緣端擴展,以追求低延遲、低耗能、低成本的目標,而TinyML為近期AI邊緣運算崛起的技術新趨勢。TinyML方案通常整合硬體、算法和應用軟體,其優勢是在設備低耗能條件下,仍能蒐集並分析感測器數據,通常耗能為mW(毫瓦特)等級或以下,適合以電池作為供電的設備且需要隨時處於啟動狀態(Always On)的AI運算應用。

DIGITIMES Research觀察,由於Google、安謀、英特爾、高通及創新應用企業紛紛參與TinyML生態鏈,加速其軟硬體方案發展成熟。TinyML發展現況可分別從三大層面說明,層面一為推論架構與平台面,TensorFlow Lite為Google在嵌入式和IoT邊緣設備端的解決方案,可協助開發人員在嵌入式裝置和IoT裝置上執行TensorFlow模型,TensorFlow Lite功能為轉換雲端訓練模型與部署壓縮後預測模型於邊緣設備,執行預測推論程序。

另外,Edge Impulse為嵌入式機器學習開發平台,可於平台上快速地建立邊緣端推論模型,部署到感測器、聲音頻率和電腦視覺的嵌入式MCU裝置。機器視覺預測推論則可選擇OpenMV平台,優點為低成本、可擴展,應用於人臉辨識、物件分類...等。

層面二為硬體方案面晶片代表商,安謀Cortex-M系列,英特爾嵌入式晶片VPU Movidius系列、高通QCC MCU系列、意法半導體STM32系列、恩智浦半導體NXP i.MX RT系列等。目前可支援TinyML的架構與平台硬體以採Arm架構Cortex-M系列MCU為大宗;TensorFlow Lite平台以Arduino Cortex-M4系列與意法半導體Cortex-M7 STM32系列為代表。Edge Impulse平台以Eta Compute Cortex-M4與意法半導體Cortex-M4 STM32系列為代表。OpenMV平台以OpenMV Cortex-M7系列與Sipeed Maix Bit系列RISC-V處理器為代表。

值得注意的是,DIGITIMES Rersearch觀察近期頗有異業廠商跨足TinyML領域的發展趨勢,如電信設備指標業者愛立信(Ericsson)於官網發表許多TinyML研究主張,微機電系統(Micro Electro Mechanical Systems;MEMS)感測器商博世(Bosch Sensortec)也表態支持TinyML,開發對應的MEMS驅動程式,說明產業對未來TinyML市場前景的重視。

層面三為創新應用面,代表廠商如美商業者BabbleLabs(已被思科購併),在Webex Meetings會議軟體運用AI技術來區分人類語音和多餘雜音,以提升通訊品質和用戶體驗;澳洲廠商Brainchip產品Akida系列MCU提供視覺、聲音頻率與感測器應用,可在MCU上進行機器學習,而無需在雲端重新訓練。美國廠商Qeexo AutoML平台使用各種演算法,自動建構機器學習模型,適用於工業、物聯網、穿戴式裝置、汽車等。法國廠商GrAI Matter Labs開發的視覺AI軟體用於無人機、機器人、監控鏡頭等需低功耗的邊緣設備。

TinyML數據來源為生物特徵、行動數據、感測器數據、語音資料、影(圖)像資料等,應用於門禁系統、自動駕駛、能源管理、預測維護、遠端監控等,其中,商業化落地案例為智慧製造領域美商業者QuickLogic QuickAI系列,在設備(馬達)上安裝聲音與多軸運動感測器,將感測器接收的數據送至EOS S3 MCU,進行設備即時健康狀況預測推論,有於管理人員訂定保養與維修規畫。

智慧農業領域中國業者Seeed SenseCAP方案利用感測器,測量空氣與土壤溫度、空氣與土壤濕度、土壤鹽分含量數值,由樹莓派(Raspberry Pi) Arm Cortex-A7處理器進行預測推論最佳生長條件,提供改善環境的數值參考方案。

研調機構Gartner預計至2025年將有75%的AI處理發生在邊緣,而TinyML或在未來五年內發展出逾700億美元市場產值。然DIGITIMES Research認為TinyML目前仍需面臨軟體、硬體、效能三層面的挑戰,硬體面規格等級較高的MCU僅內建1MB NOR Flash、512KB SRAM,儲存程式碼與其他功能已佔據大部分空間,又運作TensorFlow Lite需佔用20KB NOR Flash與4KB SRAM,使得演算法/應用領域選擇備受限制。

再者,以關鍵字喚醒應用MCU需長期處於待機狀態下,功耗亦產生高溫存在散熱問題;軟體面亦存在各廠商晶片指令不一,缺乏統一基礎架構、程式語法經驗移轉不易等問題。此外,模型建立時,相關資源與外掛軟體不足,邊緣端部署模型不易且耗時;效能面因各廠商MCU規格差異大,使設計開發人員難以換算成同等效能規格,以客觀標準測試方式,評估運作效益分析。

總結AI邊緣運算化趨勢,儘管上述挑戰仍待生態鏈各廠商產生共識方有機會克服,短期相關業者會有觀望遲疑的情況,但中長期而言,TinyML仍為大勢所趨,加上市場觀念的傳遞,透過實證與試行,終端用戶將逐漸感受到TinyML的諸多效益,TinyML必然能大幅開展商業化落地。

圖標:軟硬體大廠參與助力下,TinyML生態鏈日趨成熟。DIGITIMES Research整理,2022/4

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: AI