善用MLOps與AutoML打通企業AI任督二脈 智慧應用 影音
hotspot
touch

善用MLOps與AutoML打通企業AI任督二脈

  • 鄭斐文DIGITIMES企劃

根據一份AI趨勢報告顯示,逾57%台灣企業為因應疫情衝擊、積極表達迫切導入AI的意願,以增強靈活應變能力,將外在環境影響降至最低,進而提高組織效率、降低成本、提升客戶忠誠度或增加利潤。

其餘值得留意的重要發現,包括近六成台灣企業的AI成熟度落在Level 2到3範疇,開始利用案例檢驗數據、建立PoC,甚或部署預算、選定工具、解決方案與夥伴;明顯擺脫早先開始準備導入AI、建立數據基礎架構的Level 0到1層次。在技術方面,運用比例較高者依序為機器學習(ML)、電腦視覺/圖像辨識、深度學習(DL)、自然語言處理/理解/生成(NLP/NLU/NLG)、深度神經網路、異常偵測、資料標註等。

顯而易見,現今企業愈來愈清楚導入AI可以帶來的效益,像是醫師透過AI分析醫療影像與病歷資料,加速發現病患的病灶,以便及早治療、挽回生命。又或者,製造工廠利用Edge AI確認機台運行狀態,一旦察覺異常,就立即發出警訊,以利工廠儘速排除障礙,避免產線無預警中斷。此外金融服務業可借助機器人流程自動化(RPA),自動化執行原本需要依靠手動的Routine工作、或其他資料密集型流程,以減少人力工時的耗損、提高生產力並消弭人為錯誤。

資料科學家備多力分  影響專案品質與效率

縱然導入AI好處多多,但是多數企業在推動AI/ML過程,仍遭遇諸多瓶頸。據Algorithmia調查報告顯示,約23%企業的新模型上線週期介於1~3個月,甚至還有18%的企業超過3個月,合計逾四成企業須耗費1個月以上才能推出新模型,節奏堪稱緩慢。

另外很尷尬的,近三成企業遇到一個難題,開發人員不理解專業領域的實際需求,專業領域的人員也同樣不理解AI開發所需背景,導致AI/ML專案經常欠缺專業知識及高品質數據,以致成果不彰。

更麻煩的是,礙於林林總總問題,造成許多專案無法順利上線應用,僅停留在PoC實驗測試階段;可以說企業汲汲營營想要在AI發展上有所作為,到頭來依然落空。

為何AI旅程走得如此巔跛不順?主要癥結在於供需之間的認知落差。站在老闆或其他高階主管的立場,既然花錢購進昂貴GPU機器、建立AI基礎架構,又延聘高薪的資料科學家人才,當然希望趕緊做出讓公司營運一飛沖天的模型與應用。然而老闆或主管們往往忽略,一個AI應用從無到有的過程,不單單指有模型訓練一檔工作,要做的事情其實很繁雜,讓資料科學家備多力分,無法專注開發高品質的ML Code,可謂壓垮AI專案的稻草。

這些雜事包含了設定題目、資料收集、特徵萃取、資料驗證、機器資源管理、準備分析工具、準備流程管理工具、基礎架構維運、上線監控…等,涉及多面向的技術與流程;因而使資料科學家花了六成、七成甚或更多工時處理非模型開發事務,最終造成AI專案無法如期如質上線。

當務之急,企業不能只想著趕快導入AI,還須思考完整配套,設法提升AI開發的速度及品質,才能真正心想事成。

透過AutoML  非資料科學專業者也能開發模型

不可諱言,AI/ML是一個需要不停迭代優化的循環流程,每次循環都涵蓋定義問題、資料收集與處理、模型設計到模型部署等步驟,每個步驟都至關重要。為確保每項工作事項都能迅速有效地被執行,近年業界積極倡議MLOps,強調唯有MLOps才能加速AI開發進程,擴大AI應用規模。

MLOps意指涵蓋AI模型訓練、模型封裝、模型驗證、模型部署、模型監控等一系列完整機器學習工作流程,顧名思義就是ML(機器學習)、Dev(軟體開發)、Ops(IT運維)的集合體。從模型訓練到部署上線,其間有許多事情需要處理,不僅如此,等到模型上線後仍須持續監控、並收集新的場域資料,爾後若發覺既有模型推論精準度下滑,即需以新資料為素材、重新啟動模型訓練。

根據Algorithmia調查統計,已採用MLOps服務工具的企業,導入AI應用的時間平均從原來的92天降為64天,降幅高達31%,可說成效卓著。因此專業機構Cognilytica也樂觀看待MLOps發展前景,預估2025年全球MLOps市場規模可望上看40億美元。

鑒於MLOps需求看漲,市場上出現愈來愈多AI PaaS相關工具或服務,大多都內含資料管理(包括資料前處理、資料標註、資料分析和資料清洗)、模型開發(提供IDE環境)、模型訓練(自動化超參數調優)、模型管理(儲存和版控)、應用部署(推論及監測)等豐富功能。

前述的MLOps工具,其實蘊含兩大類型功效,首先讓熟悉資料分析工具者、也就是資料科學家方便做事,當他完成資料前處理與標註等工作後,即可從自助服務工作區快速選用Jupyter Notebook、R、TensorFlow、Pytorch等資源,展開模型訓練,後續再利用Model Repository執行版控、Image Repository執行部署,將模型佈建到推論環境。

其次可讓非資料科學專業者,以近乎No Code方式產出AI模型。他們僅需上傳資料,即可由AI PaaS平台自動代為清理資料、挑選演算法、調優超參數、評估最佳模型,最終進行部署與管理。有人稱它為「傻瓜式AI」、意即AutoML,旨在讓欠缺資料科學家的企業,照樣能憑藉高度自動化、迅速建立模型,足以解釋資料與模型關係等助力,儘速踏上AI/ML旅程。

總之藉由MLOps和AutoML的輔助,讓企業得以減少對資深資料科學家、ML工程師、程式開發工程師的依賴,由各部門自行利用其掌握的資料基礎,以最小成本打造AI模型,持續推動業務應用創新,經由不斷滾動來翻轉企業總體競爭力。


關鍵字