TinyML為最小的Arm裝置帶來人工智慧

TinyML專注於優化機器學習(ML)的工作負載，如此其就能在比一粒米還微小的微控制器上處理，且消耗僅幾毫瓦的功耗。TinyML為微型裝置提供了智慧，在Arm、Google、高通和其他公司的支持下，tinyML有潛力改變物聯網(IoT)，在物聯網中，基於Arm晶片的數十億微型裝置已經被用於提供更多的洞察和效率，包括消費、醫療、汽車和工業領域。

為何tinyML要著眼在微控制器上的應用？

像Arm Cortex-M系列這樣的微控制器是ML的理想平台，因為它們已經被廣泛使用。它們可以快速高效地進行即時計算，可靠且回應迅速，而且由於耗電很少，可以部署在難以或不便更換電池的地方，也許更重要的是，它們夠便宜，可以在任何地方使用。市場分析機構IDC報告指出，2018年微控制器的銷量為281億台，預計到2023 年，微控制器的年出貨量將成長到382億台。

微控制器上的TinyML為我們提供了分析和理解物聯網產生的大量資料的新技術，特別的是，深度學習方法可以用來處理資訊，並理解感測器提供的資料，比如檢測聲音、捕捉圖像和跟蹤動作。

以非常緊湊的格式進行高級模式識別

透過研究機器學習涉及的數學，資料科學家發現他們可以透過做出某些改變來降低複雜性，比如用簡單的8位運算代替浮點運算。這些變化創造了機器學習模型，工作效率大大提高，需要的處理和記憶資源也大大減少。

TinyML技術正在迅速發展，這要歸功於新技術和一群投入的開發人員。就在幾年前，我們還在慶祝我們運行語音辨識模型的能力，該模型在受限的Arm Cortex-M3微控制器上，僅使用15KB程式碼和22KB資料就能在檢測到特定單詞時喚醒系統。

從那時起，Arm推出了新的機器學習(ML)處理器，稱為Ethos-U55和Ethos-U65，這是一款微型處理器，專門用於加速嵌入式和物聯網裝置中的ML推理。Ethos-U55與具有人工智慧能力的Cortex-M55處理器相結合，將在ML性能和能源效率提供顯著提升。

TinyML將終端裝置提升到新的層次

TinyML的潛在使用場景幾乎是無限的，開發人員已經開始使用tinyML來探索各種各樣的新想法：可以改變信號以減少擁塞的回應性交通號誌，可以預測何時需要服務的工業機器，可以監測農作物是否有破壞性昆蟲的感測器，可以在庫存減少時要求補充庫存的商店貨架，可以在保持隱私的同時跟蹤重要資訊的醫療監視器，這些例子不勝枚舉。

TinyML可以使終端裝置更加一致和可靠，因為不需要依賴繁忙、擁擠的互聯網連接向雲中來回發送資料，減少甚至消除與雲的交互性有很多好處，包括在減少能耗、顯著降低資料處理延遲和安全方面的好處，因為不傳輸的資料受到攻擊的風險要小得多。

這些在微控制器上執行推理的微小ML模型並不會取代當前在雲中發生更複雜的推理，反之，它們所做的是將特定的功能從雲端轉移到終端裝置上，這樣開發人員就可以在需要時與雲端交互作用。

TinyML還為開發人員提供一套強大的新工具來解決問題，ML可以檢測基於規則的系統難以識別的複雜事件，因此終端人工智慧裝置能開始以新的方式做出貢獻。此外，由於ML可用文字或手勢控制裝置，而不是按鈕或智慧手機，因此終端裝置可以構建得更堅固耐用，並可以在更有挑戰性的操作環境中部署。

TinyML隨著生態系統的擴大而獲得動力

產業參與者很快就認可了tinyML的價值，並迅速採取行動創建一個支持性的生態系統。各個級別的開發人員，從熱情的愛好者到經驗豐富的專業人士，現在都可以存取易於上手的工具，所需要的只是一台筆記本電腦、一個開源軟體庫和一條USB線，以及用於將筆電連接到幾款價格低至幾美元的低價開發板。

事實上，在2021年初，Raspberry Pi發布了其第一款微控制器板，這是市場上最實惠的開發板之一，僅需4美元，它名為Raspberry Pi Pico，由RP2040 SoC提供支持，這是一款功能強大的雙Arm Cortex-M0+處理器，RP2040 MCU能夠運行TensorFlow Lite Micro，我們期待在未來幾個月內看到該板的廣泛ML使用案例。

Arm是tinyML的堅定支持者，因為我們的微控制器架構是物聯網的核心，並且因為我們看到了裝置端推理的潛力，Arm與Google的合作使開發人員能夠更輕鬆地在功耗受限的環境中部署終端機器學習。

Arm CMSIS-NN函式庫與Google的TensorFlow Lite Micro(TFLu)框架相結合，允許數據科學家和軟體開發人員利用Arm的硬體優化，而無需成為嵌入式編程專家。最重要的是，Arm正在投資源自Keil MDK的新工具，以便從原型到生產協助開發人員部署ML應用。

許多早期的影響者的投入使得tinyML成為可能，包括tinyML的創始人暨谷歌TensorFlow Lite Micro技術負責人Pete Warden；Arm 創新者Kwabena Agyeman，他開發了OpenMV，這是一個致力於低成本、可擴展、由Python 驅動的機器視覺模塊；來自Edge Impulse 的Daniel Situnayake，他是tinyML創始工程師和開發人員，Edge Impulse提供涵蓋數據收集、模型訓練和模型優化的完整tinyML管道。

此外，Arm合作夥伴，例如Cartesiam.ai，一家提供NanoEdge AI的公司，這是一種基於在實際狀況下觀察到的感測器行為在終端上創建軟體模型的工具，已將tinyML的可能性推向了另一個層次。

即將於2021年9月14日線上舉辦的「Arm終端AI運算生態高峰會」，除了有助力TinyML推動的Arm、TensorFlow Lite及Edge Impulse的技術專家，針對ML框架、Arm AI 解決方案與工具的詳細介紹與示範，另外生態系夥伴Skymizer、Cyberon，以及在學術界非常熱門的台大電機工程學系副教授李宏毅先生都將帶來精彩的演講，歡迎對終端AI運算與TinyML有興趣的朋友，把握截至9月10日為止的最後報名機會，手刀點此「Arm終端AI運算生態高峰會」報名，在此搶先揭露李教授的議程摘要。