智慧應用 影音

HDS一體化方案 助企業快炒大數據佳餚

2017/03/08 - 魏淑芳

今時今日,基於第三平台衍生的應用主題,著實多不勝數,但不論是物聯網、工業4.0、智慧電動車、智慧家庭…等等看似型態互異的應用,背後皆需高度倚賴大量數據蒐集、整理與分析;此乃Big Data題材持續發酵多年,迄今熱度不減的原因所在。

日立數據系統(HDS)台灣分公司技術經理梁萬宇指出,以往HDS在日立集團的角色定位,儘管已偏向IT基礎設備的提供者,但側重於儲存系統一環,爾後集團著眼於第三平台崛起,創新轉型的浪潮勢不可擋,單憑儲存一塊不足以涵蓋總體需求,故HDS順勢蛻變為含括更多元軟硬體工具的IT基礎供應者,也意識到Big Data重要性,於兩年前購併Pentaho,補強大數據交換及分析能量。

不僅Pentaho,HDS為了讓自身基礎設備,擁有更佳的介接性,陸續催生了基於物件式儲存的HCP平台以及具備強大橫向擴充能力的HSP平台,期使企業更方便、更具效率地推動數據分析工程。

前述關於Pentaho所象徵的資料ETL(萃取?轉換?載入)、分析報表暨視覺化呈現,乃至HDS提出橫向擴充、物件式儲存等平台方案,種種元素,對於企業能否順利推動大數據應用,究竟具備何等關聯性?日立數據系統台灣分公司技術顧問陳建瑋解釋,檢視企業投入大數據分析,經常面臨的一大挑戰,不外是已經掌握到眾多結構化、非結構化的巨量資料,但不知如何找出Insight,癥結就在於缺乏好的工具,將這些來自不同源頭的數據,有效統整到單一資料湖泊(Data Lake),以致即使窮盡努力,也難以快速實現資料整合,無法為大量數據建立高度的一致性、完整性,因而對企業創新轉型的步調多所延宕。

善用輔助工具  加速推動數據交換與分析

透過HDS供應的一體化方案,便可藉由ETL程序,將不同來源的混雜資料,予以快速整理,匯入單一的資料湖泊平台,繼而借助Pentaho的圖形化介面,利用最短時間展現出企業想取得的分析結果,其間毋需曠日費時撰寫大量Script或程式。

在此同時,還能依據企業期望的短、中、長不同週期的分析戰略規畫,藉由Flash、HSP或HCP等不同平台媒介,為企業營造出深具成本效益的大數據生命週期管理機制;凡此種種,都有助於在企業汲汲挖掘數據價值的道路上,鋪陳出迅速達陣目標的最佳捷徑。

若將大量結構化或非結構化資料比喻為食材,企業如果善用正確的輔助工具,不但能夠有效保存眾多食材,且可隨時靈活依據自身應用需求,快速料理出一道道佳餚。另值得一提,透過Pentaho,除了有助於企業迅速聚合基礎資料、推動樞紐分析,更可藉此介接諸如Weka或R等開源統計分析軟體,建立進階式統計模式,創造預測分析之妙效。

梁萬宇補充說,回顧過去,即使不少企業對大數據分析深感興趣,但投入的專案計畫,多以Pilot Run性質,預期2017年起有愈來愈多案例,會開始跳脫Pilot Run格局,朝向生產(Production)層次推進。

他不忘提醒,部份仍舊按兵不動的企業,習慣沿用過去諸如ERP、資料倉儲等系統的建造思維,認為供應商到頭來一定會推出最佳實務方案,淬煉一些固定參考模型,幫助用戶快速到位,但事實上,大數據應用並不適用這般模式,即使是相同產業,A、B、C等等不同企業的創新目的、或所欲解決的營運難題,往往大不相同,故個別成功經驗無法被直接複製套用。

因此建議企業仍應自行建立資料科學家或資料分析團隊,先釐清自己的應用目標、及需要接入的數據型態,如此再搭配好的技術平台或工具,才能產生相得益彰效果。


圖說:日立數據系統(HDS)台灣分公司技術經理梁萬宇(右)預期,伴隨工業4.0、IoT等議題延燒,2017年起可望驅使更多企業,利用大數據分析投入Production生產應用;圖左為日立數據系統台灣分公司技術顧問陳建瑋。