強化嵌入式技術能量 掌握AI應用奇點商機
- 洪千惠／DIGITIMES企劃
-
2022年底ChatGPT橫空出世，生成式AI浪潮一路從雲端向邊緣擴散，扮演智慧化願景推手的嵌入式技術也須與時俱進，方能滿足市場新需求，於3月8日舉辦的D Forum嵌入式論壇，就以「滿足AI應用奇點的嵌入式設計」為題，邀請業界專家從不同環節與視角，發表精彩演說。
嵌入式AI已為醫療保健帶來革命性創新應用，廣達電腦技術長暨副總經理張嘉淵在「數位即時診療創新 嵌入式AI的新前沿」議題中，進一步探索此技術無縫整合於醫療設備和系統中的重要性，以及為醫療保健帶來的診斷準確性、即時健康監測、個人化照護計劃等諸多好處。他指出，高齡化與可能隨時來襲的疫情，對各國的醫療量能帶來嚴峻考驗，透過科技力量提升服務效率、緩解日益升高的成本，成為醫療產業導入AI的重要動力。
在醫療照護體系中，人體是最主要的數據資料來源，現在可透過穿戴式裝置、IoT設備等科技產品從中擷取資料，並將之傳送至雲端進行大數據分析，每一環節都須以合適的通訊技術串聯成數據循環架構，廣達在醫療領域的佈局，則是從資料中心角度觀察其中的數據旅程，開發出相關的AI應用。廣達的QOCA系統以雲端運算技術為基礎，將AI、物聯網等技術交叉應用、整合，在數據旅程中以金融科技確保數據交易的安全性，並將之轉換為有價值的資訊，目前廣達已藉此開發出多種創新應用，包括醫院的遠距醫療、穿戴式醫療裝置、行動醫療設備等。
在各種服務中，張嘉淵特別強調廣達在遠距醫療的佈局，他提到COVID-19疫情讓各界體認到此技術的重要性，因此廣達也側重遠距醫療的開發，透過強大的效能與續航力提升醫療系統韌性。在AI技術部分，他認為生成式AI將成為各種創新應用的觸媒，廣達的目標是透過生成式AI和大型模型得結合，開發出可精準反映人體狀況的Digital Twin系統，提供醫師更精準的預測和治療方案，落實以科技造福人類的願景。
智慧化應用遍地開花，Edge AI是此趨勢中的重要角色，研華嵌入式物聯網平臺事業群協理陳柏州在「多元AI解決方案 引領邊緣智能新時代」演講中提到，Edge AI將是未來各類系統的核心，他認為多數嵌入式AI應用不會是全新從頭開始，而是在既有應用中加入AI的運算，提升原來系統的應用效能或加入新服務。不過要讓Edge AI運算普及，仍需克服系統開發與維護升級成本偏高，且有開發失敗之虞。
對此研華提出以「多元化」、「標準化」、「平臺化」為核心的解決方案，希望協助客戶快速實現AI化。研華的Edge AI平臺產品與服務多元，AI加速模組包含無風扇、高效能與緊湊型低功耗等不同規格產品。Edge AI軟體解決方案部分，則有Edge AI SDK、NVAIE優化推理引擎、可與AI開發工具無縫整合的AI-Stack，協助客戶加快Edge AI應用方案的開發速度。此外，研華也藉由Azure與OpenAI服務與穩定可靠且持續更新的Linux操作系統，支援該公司50種以上的設備，讓軟硬體之間可高度相容。陳柏州也在現場展示研華iService Vision AI Edge解決方案，如何利用整合軟硬體的邊緣運算功能，統計特定場域人流、辨識特徵與偵測排隊狀況的應用，由此展示可具體而微地看出，Edge AI已逐步落地使用中，此技術將成為引領智能新時代的重要動力。
效能與安全兼具 儲存技術為邊緣AI賦能
儲存技術在嵌入式設備扮演關鍵角色，在這次論壇中，宜鼎國際、華邦、旺宏等三大儲存元件廠商齊聚一堂，介紹各自在新世代儲存元件的佈局。宜鼎國際工控DRAM事業處課長何品萱在「專業客製與整合，迎向全球Edge AI新局」演講中表示，該公司以工控儲存元件起家，近年積極整合集團資源，打破傳統產品結構，透過WiGig無線通訊、車載通訊、工業圖形卡和環境感測器等創新解決方案，將產品觸角從工業領域逐步擴展至監控、城市、交通、車載、醫療等各類場域。
總經理特助余柏宏緊接著介紹宜鼎國際在邊緣AI的產品策略。該公司整合軟硬兩端的邊緣AI解決方案，提供x86與ARM兩種架構，包含AI加速器、嵌入式週邊擴展設計與AIoT感測器，適用於遊戲、網通、航太、伺服器、零售、安控、運輸等場域，可加快邊緣AI設備的落地速度。為強化邊緣AI市場佈局，宜鼎國際今年推出全新品牌形象「ARCHITECH INTELLIGENCE」，將以智慧建築師的角度，善用19年的工控市場經驗，協助客戶利用不同功能的智慧化模組打造合身架構。在整合邊緣AI架構部分，宜鼎除了提供客製化設計服務，還提供遠端監控管理服務、嵌入式周邊擴充模組、環境感測模組與加速運算、通訊傳輸技術、工控儲存與記憶體等解決方案，客戶可視自身需求選擇合適的軟硬體產品，提升營運效能。
華邦電子DRAM產品行銷處處長賴韋仲，接著在「記憶體如何為嵌入式AI應用提供優勢」一題中，介紹設備業者與終端應用客戶如何利用華邦電子的DRAM產品，在嵌入式AI應用中創造獨特優勢。他表示，隨AI技術快速發展，嵌入式設備的運算需求提高，華邦電子的HYPERRAM、LPDDR4/4X、DDR3等DRAM產品具備快速讀寫能力、低功耗和高適應性，可為嵌入式設備帶來顯著優勢，將應用領域擴展至智慧攝影機、物聯網系統和自駕車等場景，目前已有多家業者善用華邦電子的產品，打造智慧化解決方案，如MCU、SoC和RTC技術領導者Ambiq，就結合華邦HyperRAM和Ambiq Apollo4的產品優勢，打造適合物聯網終端和可穿戴設備的超低功耗系統解決方案。
賴韋仲強調，華邦電子持續投入記憶體技術研發，推出各種創新解決方案，以近期推出的CUBE為例，此技術為KGD 2.0架構，可透過2.5D和3D堆疊方式，提供更高的資料頻寬、更高儲存密度、更小的產品尺寸，滿足邊緣和雲端運算平台需求，降低系統總持有成本和提高能效比，加速嵌入式AI應用的普及速度，未來華邦電子將致力於技術創新和產品多樣化，協助客戶打造高效能解決方案，掌握邊緣AI的龐大商機。
旺宏電子產品行銷處專案經理許煒承，在論壇中以「嵌入式應用記憶體的節能與耐溫方案」為題，介紹旺宏電子在此領域的產品布局。許煒承提到，嵌入式技術在生活、醫療、汽車等場域的應用漸深，相關設備對記憶體的要求除了低功耗與高效能外，也越來越重視高儲存容量、高溫耐受、低系統成本與資訊安全，對此旺宏電子已有完整的產品布局，可協助嵌入式設備滿足市場需求。
在低功耗部分，旺宏電子推出MX25R與MX25S兩大系列產品，MX25R為寬電壓設計，電壓範圍為1.65V至3.6V，休眠電流和運作電流分別為7nA與3.5mA；MX25S採用1.2V低電壓設計，運作範圍為1.14V至1.6V，休眠電流和運作電流分別為25nA與0.8mA，兩系列都可切換超低功耗模式和高效能模式，此設計兼容節能或高效能需求。耐高溫方面，旺宏提供多種寬溫設計的快閃記憶體，工規最高可到-40°C至125°C，而車規更達到環境溫度(Ambient Temperature) -40°C至135°C，以及145°C的超高接面溫度(Junction Temperature)，確保記憶體在極端環境中仍能穩定運作，提供可靠且穩定的性能。許煒承指出，MX25R與MX25S的低功耗與旺宏電子的多種寬溫設計產品，可同時兼顧嵌入式設備在效能、節能與穩定性方面的考量，從而擴大應用觸角，讓產品更具競爭優勢。
除了各類儲存元件外，嵌入式設備的儲存效能，除了倚賴儲存元件外，記憶體控制IC也是關鍵。慧榮科技車載與工控產品經理史繼宇在「慧榮滿足AI儲存效能與可靠性需求」演講中指出，AI近期呈現跳躍式演進，特別是生成式AI技術發展與應用潛力，更將改變各類產業的運作方式。不過要讓此願景成真，具備AI功能的嵌入式設備，必須強化效能與可靠性。
他表示，慧榮科技是NAND快閃記憶體控制IC領導者，eMMC/UFS控制晶片累積出貨量已超過37億顆、SSD控制IC則超過7.31億顆，是全球最大的SSD控制晶片供應商。慧榮科技推出的IntelligentSeries系列解決方案有8大類型產品，可確保關鍵儲存的資料完整性和可靠性，包括智慧型遠端監控日誌IntelligentLog；可監測SSD溫度、進行溫控調頻及散熱保護的IntelligentThermal；可建構內容預載機制以提高加載速度的IntelligentImage；提供智慧型掃描以保存資料完整性的IntelligentScan；可保護資料加密不被盜取的IntelligentGuard；可透過智慧型監測穩定寫入效能的IntelligentFlush；可藉由分區化設計提高耐用度的IntelligentZones；擁有電源斷電保護功能的IntelligentShield。此外慧榮科技還可根據不同應用場景和客戶需求，提供硬體和韌體的客製化解決方案，讓效能和可靠性同時達到最佳化，優化產品應用價值。
解決方案百花齊放 打造高質量AI嵌入式架構
技術發展多年、已被成功應用於工業場域與生活周遭的NFC/RFID，近年積極強化安全功能，意法半導體（ST）台灣CSMM部門經理黃鐙誼在「ST為嵌入式系統提供安全連結的方案」演講中提到，AI發展和連網設備的普及，讓嵌入式系統的安全連結需求浮上檯面。
為因應NFC/RFID逐漸多元的應用，NFC Forum已制定出多種規範，其中NDEF為統一標準資料交換格式規範，可在無需開發上層應用軟體的狀態下，透過NDEF的電子標籤交換資料，近期推出的無線充電標準，則是利用NFC/RFID獨特的能量傳輸特性，為小型電子裝置與穿戴式設備充電。ST深耕NFC/RFID多年，在此領域已建立完整生態系，產品涵蓋各種認證標準與應用，ST的產品包括被動式電子標籤產ST25TV、ST25TA，與動態標籤的ST25DV-I2C、ST25DV-PWM，均符合NFC Forum規範，可應用於iOS與Android app等作業軟體，讀取器則為ST25R系列。
此外針對物聯網資安需求，ST推出STSAFE-A解決方案，此方案可在設備中預置金鑰與認證，提升連網安全性，另一款ST4SIM系列產品，則可應用於物聯網、工業和汽車級的各種SIM和嵌入式SIM(eSIM)，此系列中的ST4SIM-M以工業應用M2M為主，ST4SIM-A為車載應用，最新的ST4SIM解決方案可支援5G，提供設備業者與系統廠商打造安全的物聯網環境架構。
除了強化功能外，嵌入式設備與系統的開發效率也是業者搶攻市場的關鍵。達康科技技術經理周大𪛓在「AI驅動的3D設計與智慧化製造」議題中，就展示如何利用AI技術創新3D設計和製造過程，從而推動產業轉型和創新。達康科技是台灣Autodesk金牌經銷夥伴與PowerMILL台灣創始代理，憑藉31年的專業CAD/CAM服務經驗，成功輔導眾多製造業客戶升級。周大𪛓表示，即便是先進的製造產線也有進步空間，自動化技術正是提升效率、減少浪費、打造一致性和縮短交期的關鍵。達康科技的AI LAB透過AI技術自動生成3D模型，學習繪圖及拆解辨識特徵區域，進而自動辨識組裝的功能，不僅可提高設計速度，也能藉由效率的優化降低碳排。
達康科技藉由Autodesk AI和Fusion平臺，協助客戶落實從產品設計、工程設計到製程設計和生產工廠的一體化流程。Autodesk的生成式設計技術為設計和製造打造全新解決方案，讓設計過程更加高效，並可確保產品滿足產品實際製造時的各種條件限制和性能要求。周大𪛓最後表示，AI技術在3D設計和智慧化製造中的應用，充分顯示製造業者可善用先進技術，達到節能減碳、降低生產成本、縮短開發時間等目標，並且進一步推動產品創新與業績成長，達康科技作為數位製造領域的專家，未來將持續協助客戶推動數位與永續雙軸轉型，在AI時代創造獨特優勢。
精準完整的量測，是打造高品質嵌入式產品、縮短上市時程的關鍵，台灣是德科技資深技術專案經理林昭彥在「嵌入式設計模擬和量測挑戰」演講中表示，AI技術讓嵌入式系統越來越複雜，更對電源管理與訊號分析帶來嚴峻挑戰，工程師需善用先進測量技術克服相關問題。
林昭彥接著介紹嵌入式電源生態系統量測、邏輯分析和協議層測試、物理層測試，並針對示波器的選擇提出建議。他表示電源生態系統量測須特別注意電源軌道/分佈、電源轉換、電源開關序列以及電源消耗的挑戰，工程師可利用PSRR指標，衡量電源系統抑制輸入電壓變化對輸出電壓穩定性的影響，並使用波形產生器和波德圖繪製功能優化電源轉換。邏輯分析和協議層測試部分，他介紹了混合訊號示波器(MSO)在嵌入式系統設計中的應用，此設備可測量類比信號，並同時觀察、分析數位訊號。物理層測試可使用示波器的波形觸發、時序、垂直和相位雜訊分析功能，提升精準度與效率。
對於示波器的選擇，他建議可依據頻道數量、最大頻寬、取樣率、ADC位元解析度等項目，選擇合適的示波器，是德科技在此提供的3000G X系列與高階Infiniium系列示波器，可因應嵌入式系統的多功能性和高性能測量需求，從而縮短產品開發時程。
新能量注入市場 全面強化AI創新動能
除了各領域領導廠商強化產品佈局外，新創企業與研究機構近幾年也積極投入研發，搶攻邊緣AI市場。此次論壇的ALIF與工研院就分別介紹最新成果。工研院電子與光電系統研究所副組長孫際恬在「帶著走的AI-高速動態視覺與大語言模型」議題中，介紹工研院研發的事件視覺技術系統與大語言模型(LLM)。他表示，事件相機是新型視覺感知工具，利用仿生技術只在圖元亮度變化時產生的數據，實現高動態範圍和微秒級的反應速度，更在模型與學習之動態視覺演算法下，於自動駕駛和機器人視覺等高速動態場景中有獨特優勢。大語言模型則創造了新知識管理模式，工研院的研究可透過軟硬協同，克服大語言模型的輕量化部署挑戰。
LLM部分，工研院提供了快速微調LLM的技術與服務，能在極短的時間內取得優秀的特定知識領域語言模型，提升模型在特定領域的適用性和效率。此外孫際恬也介紹Flash Attention和KV Cache技術，此技術可減少模型運算當下的暫存需求和運算資源消耗，並利用數據並行和管道並行特色，支援分散式訓練與推論，提升模型運作效率，藉由新技術的創新與應用，產業可克服高速動態視覺處理和專屬領域知識處理挑戰，擴大智慧化系統的應用範圍。
ALIF則是2019年成立於美國的新創公司，主力產品為新世代MCU，ALIF亞洲區市場行銷協理陳永章在「ALIF創新嵌入式設計引領Edge AI產品趨勢」演講中提到，該公司的Ensemble系列32位元MCU，擁有單一Cortex-M55核心、雙Cortex-M55搭配雙Cortex-A32 MPU核心的1至4核心選項，同時結合了Arm Ethos-U55微型神經網路處理單元與大容量記憶體，可滿足tinyML到高階應用的各種效能需求。
開發環境方面，ALIF提供的工具可完整支援整體AI開發工作流程，作業系統和中介軟體包括Azure RTOS (ThreadX)、Net-X、USB-X、GUI-X、FreeRTOS、Zephyr與Linux OS，可滿足不同應用場景和功能需求。語音識別則提供具備自然語言處理、關鍵詞識別和聲音識別功能的Sensory，DSP架構的Audio Weaver可用於優化IoT音訊品質，Plumerai聚焦於人臉識別和人員檢測。此外ALIF也提供開發板與AI/ML應用開發套件，協助開發者評估Ensemble MCU的性能，加快部署速度。放眼未來，ALIF在持續強化產品效能的同時，也將構建完整的合作生態系統，並因應不同客戶需求提供客製服務，協助客戶善用AI提升產品競爭力，掌握市場利基。
研究AI邊緣運算的DIGITIMES研究中心分析師陳一帆，也在這次論壇發表他近期對此領域的趨勢觀察結果。首先是AI/ML技術呈微型化發展，整合式開發平台、專為Edge AI/TinyML開發的演算法與工具等，加速了邊緣AI/TinyML應用推進，同時AI/ML微型化亦朝向微垂直(microvertical)領域應用發展。其次是非GPU硬體趨勢，包含MCU優化AI運算能力和專為特定邊緣場景設計的邊緣AI晶片，讓非GPU AI晶片在效能與功耗上具有一定優勢。第三是邊緣MLOps，僅管已有不少業者聚焦MLOps各環節推出平台服務，但在邊緣運算情境中，仍面臨邊緣環境與裝置多變、邊緣運算條件限制、軟硬體複雜多樣、AI生態仍以雲端為主等挑戰待克服。
對於未來，陳一帆認為AI結合邊緣運算有三個可能的發展方向，第一是邊緣應用呈分散且多元，預期將形成數個AI/ML軟硬體合作生態圈，業者將聚焦特定領域、裝置或應用深化服務。第二是AI/ML與嵌入式系統開發思維的差異，邊緣MLOps仍存諸多課題待解決，個別垂直領域整合服務為可能解方。第三是AI結合邊緣運算偏好「剛好夠用」的效能，正如同嵌入式系統不會一味追求極致效能，邊緣AI/TinyML也會重視效益與成本的平衡，僅管解決方案將呈現少量多樣且客製程度高，但業者亦可形塑較高的產業進入門檻。
小標：克服技術導入創新 掌握嵌入式AI未來趨勢
嵌入式論壇最後，特別邀請IC之音「姚姚Tech666」節目主持人姚嘉洋與台灣NVIDIA Startup & VC Partnerships李昇達博士，以「嵌入式AI生態系統的未來與挑戰」為題進行座談。李昇達首先剖析生成式AI對嵌入式系統發展與產業生態系帶來的影響，他認為提升效率、優化使用體驗無疑是導入技術的最大效益，以零售業為例，業者可先利用機器學習技術打造個性化推薦系統增加銷售額，再透過生成式AI的智能客服增強客戶滿意度，在此過程中，嵌入式系統和邊緣運算將發揮關鍵作用，讓系統在離客戶更近之處運算數據，即時提供分析和決策。
對於導入AI的挑戰，他點出企業面對的環境複雜，要順利使用此技術解決痛點、創造價值仍有高度門檻，NVIDIA正致力於設計簡單有效率的開發應用和工具，讓企業可輕鬆使用AI，目前NVIDIA針對自駕車、智慧工業等多個領域開發出超過150種軟體開發套件，協助企業與產品設計者快速建構系統。
談完需求端，李昇達緊接著從供應端切入，對台灣嵌入式與邊緣運算產業的轉型升級提出建議。他認為業者須先整合生成式AI與雲端技術，創造出可優化使用者體驗的創新應用，要達此目標，須具備充足的技術專業，並深刻掌握市場需求、快速做出反應，開發出新的服務和產品，不僅滿足當前的市場需求，也為未來的趨勢做好準備。同時，李昇達也指出 AI於嵌入式系統的創新，很大的一個部分動能來自於新創公司，在全球，NVIDIA 新創鏈結計畫有超過15,000多家的新創公司，目前有許多新創成員們對於開發 AI於嵌入式系統的應用於自駕車、智慧機器人、零售服務、數位工廠、農業、智慧城市等有相當多成功的案例， 他也鼓勵更多嵌入式及邊緣運算的企業加入NVIDIA的生態系一環，共創共榮AI願景。
綜觀「2024 D Forum嵌入式論壇」演講內容，可看出AI的技術與應用正處於高速發展階段，此技術有可能成為改變世界發展的奇點，嵌入式廠商應持續深化技術、緊盯產業變化，快速回應市場需求，與生態系企業們共同合作，方能掌握這一波產業革命衍生出的龐大商機。
