運算架構進入黃金時代 軟硬整合將是系統效能關鍵

台大資工系教授洪士灝。

AI研發已有多年，過去的運作架構都是以大型主機進行深度學習等各種演算法運算，再將訓練結果移轉到各種應用場域，不過台大資工系教授洪士灝指出，雲端無法滿足並非所有應用，例如醫院、工廠或車用系統等，這些場域系統不是注重資料隱私，就是會有快速反應、不受斷線影響、節省網路成本等需求，因此要嵌入式系統具備即時的AI運算能力就成為必要，而要提升其效能，軟硬整合開發將會是關鍵。

要提升嵌入式設備的效能，必須從運算速度、儲存空間、耗電等三大面向著手，各處理器大廠已針對各種應用情境推出多款產品，滿足市場需求。這些需求並不能只是智慧音箱這類型入門等級的產品服務，而是本身具備某種智慧，可以即時做出判斷，並藉由聯網功能來提升智慧能力，要做出符合上述需求的產品，設計者就必須具備足夠的軟硬體能力，以處理複雜系統。

洪士灝指出，嵌入式系統在加入AI功能前的複雜度就相當高，加上AI後例如具備深度學習框架之後的雲端系統或邊緣運算能力的終端設備，其難度更直線上升，不過即便難度十足，在提升應用競爭力前題下，軟硬體垂直整合優化仍然不可免。

軟體方面，現在AI的演算法是由推論與訓練兩端所組成，訓練是透過學習，加速訓練有助於發展強大的人工智慧，必須使用使用高效能計算、雲端、工作站，推論用於生產端，加速推論有助於佈署和使用AI，而在此一環節有其體積和功耗限制，必須追求成本效益。

就硬體面來看，現在各家廠商都已推出AI專屬的處理器，可針對針對應用情境降低計算量與精準度，以符合終端產品對耗電量與反應速度的需求，洪士灝指出，現在不但是深度學習系統的戰國時代，也是計算機架構的新黃金時代，設計者必須持續把功能加到特定領域專用系統中，搭配高度的軟硬整合和效能優化，就有可能創造出顛覆市場的產品。