翻轉嵌入式架構 效能、功耗與合規壓力下的系統重構關鍵
- 鄭茨云／DIGITIMES企劃
-
生成式AI加速從雲端走向終端部署，嵌入式系統正由過去以低功耗控制與硬體穩定性為核心，轉變為承載AI推論與即時決策的重要平台，為協助業界掌握市場先機，DIGITIMES特於3月19日舉辦「小裝置x 大智慧 嵌入式架構全面翻新論壇」邀請多位專家，深入剖析技術發展與市場趨勢。
DIGITIMES整合行銷處處長陳毅斌在開場指出，過去嵌入式強調「做小、低功耗、耐久」，但AI出現後，嵌入式與雲端已無法分開，前者如同身體，AI則是靈魂。近期NVIDIA GTC所提出的「推論經濟」也顯示，產業焦點正從模型訓練轉向實際部署與商業化應用，未來無論在醫療、工廠或機器人領域，嵌入式平台都將成為AI落地的核心基礎。
嵌入式AI從單點技術優化 走向整體系統能力重構
隨著生成式AI從大模型競賽走向實際部署，嵌入式AI的核心已由追求模型規模轉向追求效能與場域適配。台大資訊工程學系暨網路與多媒體研究所教授洪士灝指出，近兩年大型模型持續擴張所帶來的邊際效益下降，訓練成本與電力消耗卻快速增加，反而讓具備推理能力的小模型開始展現價值。
經過精選資料與專業訓練的小模型，不僅能在特定任務上達到接近大模型的效果，更符合嵌入式系統對低功耗、低成本與即時反應的需求。不過推理能力提升也意味著額外算力消耗，因此在Edge端必須依據任務時限、輸入輸出型態與記憶體條件選擇合適平台，而非單看TOPS規格。
洪士灝也指出，AI正由生成內容進一步走向Agentic AI，未來代理系統必須具備規劃、記憶、工具調用與多步驟執行能力，才能真正進入企業流程。這也意味企業可在既有開源模型基礎上，結合自身專業資料與應用場景，訓練出可在本地端執行、兼顧資料安全與效能的專家型Edge Agent，形成下一階段嵌入式AI的重要競爭力。
當邊緣AI逐步走向普及，市場焦點也開始從高算力平台延伸至超低功耗、低成本的微控制器應用。德州儀器Senior FAE劉旻利指出，嵌入式AI不一定依賴高階處理器，在毫秒甚至微秒級反應需求下，透過MCU搭配NPU即可完成即時推論，功耗可壓低至微瓦等級，特別適合長時間待機的感測應用。
其核心在於先透過訊號處理「畫重點」，例如音訊只保留特定頻段、影像只取邊緣特徵，降低後續模型負擔，再以硬體方式執行CNN中的卷積、池化與權重運算，避免CPU大量耗能。這類架構已可用於玻璃破裂偵測、手寫辨識、設備異常監控與穿戴式心電監測等場景，其中本地端即時判讀也兼顧隱私與安全。
劉旻利表示，TI目前已提供從模型訓練、編譯到MCU部署的完整工具鏈，讓開發者可直接將PyTorch模型轉換到低功耗平台。對嵌入式產業而言，未來AI落地不只比算力，更比誰能在有限記憶體、功耗與成本下完成可量產的智慧功能。
隨著AI從雲端延伸至邊緣與終端裝置，記憶體選型也不再只追求最高頻寬，而是回到容量、功耗、封裝與成本之間的平衡。華邦電子客製化記憶體行銷一部資深技術經理郭仲祺指出，AIoT裝置從智慧穿戴、AR／VR、智慧家庭到工業控制，正帶動低容量、低功耗記憶體需求升溫，也讓原本被視為成熟產品的Legacy DRAM重新獲得關注。
尤其在三大原廠產能轉向高階DDR5與HBM後，DDR4以下的供應日益吃緊，促使業界重新評估KGD（Known Good Die）等客製化整合方案。相較傳統外掛式DRAM，KGD可縮小PCB面積、降低佈線複雜度，並改善功耗、訊號完整性與模組尺寸，更適合AIoT與邊緣裝置需求。
郭仲祺也指出，像HyperRAM這類介於SRAM與傳統DRAM之間的方案，正成為低腳位、低功耗AIoT應用的新選擇，顯示未來記憶體競爭不只在規格升級，更在於能否以更彈性的方式支撐分散式智慧裝置落地。
AI應用持續擴展，嵌入式系統已由傳統控制導向，轉向高效能運算與高速資料傳輸並重的架構。台灣是德科技技術工程師邱柏勝指出，現今嵌入式SoC正快速朝「小型高速運算平台」演進，不僅整合CPU、GPU與AI加速器，也導入DDR、PCIe與多協定SerDes等高速介面，使資料搬運能力成為設計核心，同時也大幅拉高驗證與除錯複雜度。
隨著傳輸速率提升，訊號完整性與電源完整性（PI）問題不再侷限於單一元件，而是涵蓋封裝、PCB通道與電源架構的系統級挑戰，包含通道損耗、抖動、雜訊耦合與電源瞬態效應，皆可能導致眼圖收斂甚至連線不穩。
在高速條件下，資料速率越高，通道損耗與符號間干擾（ISI）越明顯，訊號裕量快速被壓縮，傳統以規格推論或單點量測的驗證方式已難以有效定位問題。因此，工程師需以系統觀點整合分析SI與PI交互影響，並透過高頻寬、高解析度且具備真實量測能力的示波器與分析工具，從時間與頻率域雙向觀察訊號行為。
隨著歐盟《Cyber Resilience Act（CRA）》上路，具備運算與聯網能力的嵌入式裝置，未來若銷往歐盟，從設計、部署到維運的整個生命週期，都必須納入資安管理。美商溫瑞爾 Strategic Account Manager孫楊晃指出，CRA已不再是「加分項」，而是法律責任，企業不僅要建立SBOM、漏洞監測、持續更新與可追溯機制，還須證明產品具備長期維護能力，否則將面臨罰款甚至禁售風險。
對多數採用開源Linux或RTOS的嵌入式設備商而言，真正挑戰不在開發初期，而在產品出貨後長達數年的漏洞修補、版本維護與合規管理。也因此，資安正從過去被視為IT議題，轉變為設備製造商無法迴避的產品競爭力。孫楊晃認為，這波全球資安新規雖提高門檻，卻也為台灣嵌入式設備業者帶來轉型契機，誰能率先建立安全設計、長期支援與合規能力，誰就有機會在下一波國際市場競爭中取得更有利的位置。
邊緣AI落地關鍵 機器人架構、儲存設計與隱私合規的交會
除了精彩演講，此次論壇也特地邀請3位業界專家，由工研院南分院科技產業發展組專案組長黃建智擔任主持人，針對不同議題進行座談。泰科動力執行長林傳凱首先在「自主移動機器人在邊緣Agentic AI時代的架構進化」議題中指出，現階段AMR在工業與物流場域的發展，核心不在讓每台機器人完全自主，而是在邊緣感知與雲端集中決策之間取得平衡。
林傳凱表示，工業場域對穩定性與安全性的要求極高，因此目前仍以集中式控制為主，由雲端平台負責調度、路徑規劃與任務分配，邊緣端則處理即時感知與局部避障，避免分散式智慧帶來失控風險。在技術架構上，AMR多採分層設計，由DSP負責運動控制，CPU或GPU處理感知與運算，兼顧成本、安全與系統彈性。
展望未來，AMR結合機械手臂的協作型方案，以及醫療與工業應用，將是近期最具潛力的發展方向，而真正支撐機器人產業競爭力的關鍵，仍在於軟硬體、生態系與場域know-how的整合能力。
華騰國際科技NAND產品事業部協理連立民接著以「邊緣AI的資料基石：工業級存儲架構翻新與傳輸實務」為題，提到隨著AI從雲端延伸至邊緣端，工業級儲存的角色已從單純資料保存，升級為支撐即時推論、遠端維運與系統可靠度的關鍵基礎。
目前邊緣AI帶動儲存需求出現5項明顯變化，包括容量與速度同步提升、導入OCP相容規格、強化SSD生命週期監控、支援OTA遠端維護，以及滿足工業寬溫與嚴苛環境需求。面對嵌入式裝置在效能、功耗與散熱間的平衡挑戰，儲存設計不再只是比速度，而是追求足夠效能與更佳能源效率，並透過先進控制器製程、熱模擬、動態熱調控與斷電保護機制，確保資料完整性與速度穩定性。此外，隨CRA等國際資安規範推進，儲存元件也須納入資安設計思維，成為邊緣AI系統合規與量產的重要一環。
帝濶智慧總經理鄒耀東在「邊緣AI的信任基石：全球隱私合規趨勢與去識別化技術的產業實務」議題中表示，AI已由雲端延伸至邊緣並由Agent直接處理資料，隱私與資安已從附加功能轉為系統設計的前提。
帝濶智慧總經理鄒耀東指出，GDPR與CRA等法規使隱私內建設計成為產品進入市場的基本門檻，合規不僅是法務議題，更直接影響商業可行性。在技術上，產業正從傳統加密轉向差分隱私、聯邦學習等隱私強化技術，使AI可在不接觸原始資料下運作，但也帶來效能、準確性與安全性的取捨。
因此，實務上多採資料最小化與選擇性保護策略，並將去識別化前移至端側，在資料產生當下即完成轉換，以降低外洩風險。隨著AI進入醫療、機器人與智慧場域，隱私已成導入前提，產業競爭也從性價比轉向「可信任性」，系統是否安全可控，將成為關鍵差異。
