人工智慧運算從雲端擴展至邊緣 微型化軟硬體方案蓬勃發展

人工智慧發展日趨成熟，初期主要由雲端負責運算與推論工作已逐漸向邊緣端擴展，以追求低延遲、低耗能、低成本的目標，而TinyML為近期AI邊緣運算崛起的技術新趨勢。TinyML方案通常整合硬體、算法和應用軟體，其優勢是在設備低耗能條件下，仍能蒐集並分析感測器數據，通常耗能為mW(毫瓦特)等級或以下，適合以電池作為供電的設備且需要隨時處於啟動狀態(Always On)的AI運算應用。

DIGITIMES Research觀察，由於Google、安謀、英特爾、高通及創新應用企業紛紛參與TinyML生態鏈，加速其軟硬體方案發展成熟。TinyML發展現況可分別從三大層面說明，層面一為推論架構與平台面，TensorFlow Lite為Google在嵌入式和IoT邊緣設備端的解決方案，可協助開發人員在嵌入式裝置和IoT裝置上執行TensorFlow模型，TensorFlow Lite功能為轉換雲端訓練模型與部署壓縮後預測模型於邊緣設備，執行預測推論程序。

另外，Edge Impulse為嵌入式機器學習開發平台，可於平台上快速地建立邊緣端推論模型，部署到感測器、聲音頻率和電腦視覺的嵌入式MCU裝置。機器視覺預測推論則可選擇OpenMV平台，優點為低成本、可擴展，應用於人臉辨識、物件分類...等。

層面二為硬體方案面晶片代表商，安謀Cortex-M系列，英特爾嵌入式晶片VPU Movidius系列、高通QCC MCU系列、意法半導體STM32系列、恩智浦半導體NXP i.MX RT系列等。目前可支援TinyML的架構與平台硬體以採Arm架構Cortex-M系列MCU為大宗；TensorFlow Lite平台以Arduino Cortex-M4系列與意法半導體Cortex-M7 STM32系列為代表。Edge Impulse平台以Eta Compute Cortex-M4與意法半導體Cortex-M4 STM32系列為代表。OpenMV平台以OpenMV Cortex-M7系列與Sipeed Maix Bit系列RISC-V處理器為代表。

值得注意的是，DIGITIMES Rersearch觀察近期頗有異業廠商跨足TinyML領域的發展趨勢，如電信設備指標業者愛立信(Ericsson)於官網發表許多TinyML研究主張，微機電系統(Micro Electro Mechanical Systems；MEMS)感測器商博世(Bosch Sensortec)也表態支持TinyML，開發對應的MEMS驅動程式，說明產業對未來TinyML市場前景的重視。

層面三為創新應用面，代表廠商如美商業者BabbleLabs(已被思科購併)，在Webex Meetings會議軟體運用AI技術來區分人類語音和多餘雜音，以提升通訊品質和用戶體驗；澳洲廠商Brainchip產品Akida系列MCU提供視覺、聲音頻率與感測器應用，可在MCU上進行機器學習，而無需在雲端重新訓練。美國廠商Qeexo AutoML平台使用各種演算法，自動建構機器學習模型，適用於工業、物聯網、穿戴式裝置、汽車等。法國廠商GrAI Matter Labs開發的視覺AI軟體用於無人機、機器人、監控鏡頭等需低功耗的邊緣設備。

TinyML數據來源為生物特徵、行動數據、感測器數據、語音資料、影(圖)像資料等，應用於門禁系統、自動駕駛、能源管理、預測維護、遠端監控等，其中，商業化落地案例為智慧製造領域美商業者QuickLogic QuickAI系列，在設備(馬達)上安裝聲音與多軸運動感測器，將感測器接收的數據送至EOS S3 MCU，進行設備即時健康狀況預測推論，有於管理人員訂定保養與維修規畫。

智慧農業領域中國業者Seeed SenseCAP方案利用感測器，測量空氣與土壤溫度、空氣與土壤濕度、土壤鹽分含量數值，由樹莓派(Raspberry Pi) Arm Cortex-A7處理器進行預測推論最佳生長條件，提供改善環境的數值參考方案。

研調機構Gartner預計至2025年將有75%的AI處理發生在邊緣，而TinyML或在未來五年內發展出逾700億美元市場產值。然DIGITIMES Research認為TinyML目前仍需面臨軟體、硬體、效能三層面的挑戰，硬體面規格等級較高的MCU僅內建1MB NOR Flash、512KB SRAM，儲存程式碼與其他功能已佔據大部分空間，又運作TensorFlow Lite需佔用20KB NOR Flash與4KB SRAM，使得演算法/應用領域選擇備受限制。

再者，以關鍵字喚醒應用MCU需長期處於待機狀態下，功耗亦產生高溫存在散熱問題；軟體面亦存在各廠商晶片指令不一，缺乏統一基礎架構、程式語法經驗移轉不易等問題。此外，模型建立時，相關資源與外掛軟體不足，邊緣端部署模型不易且耗時；效能面因各廠商MCU規格差異大，使設計開發人員難以換算成同等效能規格，以客觀標準測試方式，評估運作效益分析。

總結AI邊緣運算化趨勢，儘管上述挑戰仍待生態鏈各廠商產生共識方有機會克服，短期相關業者會有觀望遲疑的情況，但中長期而言，TinyML仍為大勢所趨，加上市場觀念的傳遞，透過實證與試行，終端用戶將逐漸感受到TinyML的諸多效益，TinyML必然能大幅開展商業化落地。

圖標：軟硬體大廠參與助力下，TinyML生態鏈日趨成熟。DIGITIMES Research整理，2022/4