Advantech
Energy Taiwan

善盡資料收集、組織與分析 穩健邁進AI殿堂

  • 周維棻

歷經近年來大數據、數位轉型乃至人工智慧(AI)等議題洗禮,多數企業皆體認到資料之於經營管理的重要性,也亟欲建立「資料驅動」企業文化。在去年(2017),IBM與IDC合力進行一項台灣企業的訪談調查,受訪對象共計133家,橫跨金融、製造、零售、醫療、電信等等眾多領域,這些企業一致認同資料驅動模式的價值,並將此列為急迫的轉型目標。

儘管眾多企業急欲建構資料驅動模式,但在實現過程中,仍面臨諸多挑戰。台灣IBM雲端運算事業部資深技術協理胡育銘,歸納箇中挑戰有四,首先在於資料管理,隨著資料型態多樣化,既有結構化資料、非結構化資料還有半結構化資料,加上資料儲存環境趨於多變(本地機房、公有雲、混合雲),資料存取方式也比從前複雜(SQL、NoSQL),在在徒增管理的難度;其次在於資料處理的即時性,現今商業決勝關鍵就是「快」,誰愈快將資料變現為商業價值,誰就能成為贏家!但現今企業面對的不只是內部交易資料,還需處理社群媒體資料、物聯網(IoT)資料,如何解析各種外部資料、即時回應市場需求、加速資料變現,顯然存在許多考驗。

 點擊圖片放大觀看

台灣IBM雲端運算事業部資深技術協理胡育銘強調,企業邁向AI,須歷經資料、分析、機器學習等三階梯演化歷程;故應回歸根本,設法突破混合式資料管理、資料治理與整合、資料科學與商業分析等不同階段的各種挑戰。

另兩項考驗,其一是資料科學人才,早年此問題確實不小,但隨著Hadoop、數據分析納入學校教育的素材,擁有AI、Data Lake技能的年輕學子開始進入職場,讓人才旱象逐步紓解;另一是資料安全,顯而易見的,資訊流漸趨複雜,且遵法合規壓力日益沈重,此問題確實不容小覷。

邁向AI經歷三階梯,非一蹴可幾

企業積極探索AI致勝捷徑,找尋最快最好的演算法,但畢竟商業經營並非棋奕,靠的不是固定規則的簡單邏輯運算,經常需要從浮動規則中發掘問題,因此回過頭來看,底層資料是否完整、潔淨,著實影響AI的整備度;換言之,絕非有了AI,前述種種挑戰便可置之不理。

「IBM認為AI需要靠資料、分析、機器學習等『階梯』一步步堆疊而上,並非一蹴可幾,」胡育銘說,企業唯有扎實地備齊底層資料,做好OLAP、交叉分析、動態分析等必要工作,提升資料完整性與乾淨度,再借助機器學習等相關工具,針對不同資料結構套用最適當的演算法,如此才能發揮最大綜效。

為簡化企業踏上階梯的每一步,確保企業成功邁向 AI,IBM集結混合式資料管理、統一治理與整合、資料科學與商業分析等三大平台,匯聚為IBM Analytics完整架構,幫助企業依序突破資料收集、組織、分析等三道必經旅途中可能遭遇的阻礙。

訴諸三大平台,助力建構資料驅動文化

其中「混合式資料管理」平台,旨在協助企業因應多樣化資料來源,有效建立現代化資料管理機制,透過快速部署、且貫穿內外部的橫向擴展架構,順暢處理各種複雜資料,即使面對突如其來的數據爆量也無所畏懼;但環顧企業的資料管理需求,往往同時涉及資料庫、資料倉儲及Data Lake等不同產品,若個個都採傳統軟體授權模式,恐徒增企業運用上的限制,不易應付一時爆量情景,為此IBM推出全新彈性點數計價模式,按使用量計費,簡化不同產品工具間的功能轉換,有效解決這般疑慮。

針對「統一治理與整合」平台,意在藉由資料的發現、編目與遮罩等關鍵功能,幫助企業管理流動資料,舉凡資料的產生、轉變、屬性調整、分析、生成報表、資料採礦(Data Mining)與統計分析,乃至AI模型訓練等生命週期歷程,每一步皆能有效掌控,且遵循各項法規,嚴格確保資料安全性。

第三道「資料科學與商業分析」平台,可謂資料變現的最後一哩,其中蘊含許多重要機制,不僅支援描述性、預測性分析,甚至進一步發揮處方式分析妙效,當企業在取得Data Mining結果後,便能利用自動化工具,根據當下處理的資料結構,自動產生最佳模型建議;此外該平台除可讓工程師以R、Phython進行編碼程式分析外,也提供另一管道,便於業務或行銷等非IT同仁執行自助分析,藉以即時剖析專案執行成效,甚至快速從全球網路彙集特定資訊,滿足輿情分析需求。

值得一提,放眼全球資料科學及AI相關方案,唯獨IBM兼具上述三大平台供應能量,且同時支援在地與雲端部署,用戶從踏上AI 階梯起點、直到邁向終點的整個演化歷程,皆能獲得完整協助。