DForum0606
DForum0607

建立高效儲存基礎 拓展巨量資料應用

  • DIGITIMES企劃
伴隨大數據分析等效能密集型應用需求攀升,導致全快閃式或混合式快閃儲存陣列漸成新寵。EMC

無庸置疑,如何深耕巨量資料(或稱「大數據」),對於現今各行各業而言,已是放諸四海皆準的重大課題,更已成為企業賴以推動業務創新與商務管理的關鍵利器;以金融業為例,深究時下炙手可熱的金融科技(FinTech)議題,大數據便是箇中核心項目。

時值工業4.0、生產力4.0口號響徹雲霄之際,使得智慧機器人躍為新寵,影響所及,多數製造企業皆視自動化生產、機器人、物聯網等工業 4.0元素,乃是翻轉傳統生產線、建構新世代智慧工廠,繼而促成產業升級、提振全球競爭力的關鍵所在。

在此前提下,諸多製造企業都亟思善用智慧機器人、工業物聯網等技術,形塑人機協同之作業環境,期使工廠內部的每台生產機具,彼此之間都能相互對話溝通,甚至進一步串聯上游供應端,俾使工廠管理者能隨時知悉各項原物料供應狀態,也能綜覽包括插單或急單在內的所有訂單資訊,以便於精準掌握大大小小每一個生產環節,善盡最佳化資源調配,終至消弭無謂的浪費、降低庫存,成功加快客製化產品的交貨進程。

智慧機器人正夯  製造與金融產業皆熱情追逐

如今智慧機器人這股風潮,不只在製造業領域大行其道,也吹向了金融業。以對岸的中國招商銀行為例,其信用卡中心早在2013年便導入智慧型客服機器人,挾著頗為精確的語音辨識技術,輔以背後強而有力的大數據蒐集及分析能力撐持,成功協助該中心妥善處理高達數千萬筆客戶對話,且恆常維持九成以上的準確率,讓許多顧客的疑難雜症迅速獲得解決,連帶使得原本沈重的客服中心營運維護負擔,頓時減輕大半。

無獨有偶,在2015年8月期間,國泰世華銀行領先台灣同業推出智慧客服機器人,定名為「智能小Q」,標榜能為客戶提供24小時線上即時客服,意即客戶不管有任何問題,只要造訪該行官網、網路銀行或行動銀行...等等不同管道,都可望透過智能小Q迅速獲致貼心而精準的解答。

探究智能小Q的運作原理,乃在於利用人工智慧關鍵字比對、語意理解等技術,針對客戶所提問題,由系統快速搜尋相對應資訊,並藉由擬真的人機互動即時服務模式,滿足客戶之於存匯款、信用卡、貸款、產壽險、企業金融服務、信託、財富管理...等等產品或服務相關解惑需求,甚至客戶想要瞭解天氣、旅遊、休閒等其他話題,智能小Q也能加以回覆。展望今後,國泰世華銀行仍將持續推動知識的蒐集、建構與優化,使得智能小Q滿足客戶需求的能力不斷攀升。

機器人、IoT與大數據  環環緊扣形成創新能量

不僅止於客服,在國外,也開始有銀行藉助電腦運算,協助用戶進行專業理性的投資組合管理,即是「機器人理財顧問」。對此瑞士知名研究機構MyPrivate Banking Research發佈相關報告指出,預期時至2020年,全球由機器人顧問掌管的資產管理規模(AUM),將從2015年大約200億美元的部位,快速攀高至4,500億美元;由此可見智慧機器人在金融業界的威力,著實不容小覬。

然而不可諱言,縱使智慧機器人技術應用看來極其酷炫,但它並非自成一格,而需要與物聯網、大數據等其他課題環環緊扣,才能形成大循環,終至構築完整的大局。換言之,不論各行各業,其營運環境裡頭的各種連網設備,多會有感應器(Sensor),而這些感應器不斷彙集數據、產生巨量資料(含大量結構化、半結構化或非結構化數據),接著藉由機器學習演算法,衍生人工智慧(AI),再由AI指導機器人懂得更加精準地執行任務,而機器人的一舉一動,又將觸發感應器,創造一波波巨量資料,形成生生不息的正向循環,無論製造業、金融業、零售業、醫療業...乃至更多產業,都將拜此一循環能量,不斷推動營運創新與進化。

只不過,現實與美夢兩者之間,始終毫無例外地出現一次次巨大落差,以前述智慧客服機器人等金融大數據案例而論,縱然稱得上是讓業者為之驚艷的創新應用,但要想順利付諸實踐,不僅並非一蹴可幾,而且不時受制於一些傳統的老問題,在起步點無奈打轉!

突破儲存效能瓶頸  化解大數據應用阻礙

何謂老問題?肇因於運算與儲存兩造之間的技術進步幅度落差,因而造成揮之不去的效能瓶頸,便是亟待化解的根本議題。

從1980年迄今,處理器(CPU)及記憶體的處理效能大幅躍進8,000倍之多,同期間乙太網路從10Mbps躍升為100Gbps,演進幅度更高達1萬倍之譜,反觀現今仍位居主流儲存媒體的硬碟,雖然在容量方面,出現了多達10萬倍的巨大擴增幅度,但可惜在效能部份進展有限,僅出現不到5倍的提升。

換句話說,即使銀行後台的大數據分析系統、機器學習演算法再如何犀利,倘若不設法突破運算與儲存之間的效能落差,前端的智慧客服機器人也只能苦苦等待儲存裝置的回應,依然無法迅速將精闢的解答傳送予最終客戶;甚至在執行大數據演算分析的過程中,硬碟便扮演著效能殺手,已經拖慢了答案產生的速度。

如何是好?有不少業者或用戶,便將矛頭指向了IOPS(I/O Per Second)效能比機械式硬碟好上100~1,000倍的固態硬碟(SSD),希冀藉此有效突破傳統硬體的性能限制。惟有業者提醒企業用戶,若單純把傳統硬體換置為SSD,再掛上基於資料保護所不容或缺的RAID,其實並不是理想的方案,只因為過多無謂的資料存取,唯恐縮短SSD的壽命,且很難控制RAID陣列中每顆SSD的壽命,此外,也將無可避免地面臨RAID陣列的效能瓶頸。

快閃儲存陣列  助力巨量資料分析

處於「傳統硬碟IOPS不彰」、「SSD掛上RAID亦有問題」兩難之中,開始有業者倡議快閃記憶體儲存陣列(AFA)架構,並強調它將形成儲存媒體的典範轉移,藉此利用SSD突破資料中心與企業內部的大數據儲存效能瓶頸,並以SSD加速資料存取、搭配傳統硬碟兼顧效能與容量的平衡;具體來說,傳統硬碟的主要優勢為容量,十分適合置於雲端後台承載Cold Data,滿足長期儲存與備份需求,至於以效能為主要優勢的固態硬碟,則勝任企業資料中心Hot Data存取之主流選項。

論及AFA的適合應用領域,則包含能夠受惠於高速儲存的所有應用,以一般企業而論,適用範圍便涵蓋資料庫、電子郵件、虛擬化、分層式資料快取,以及大數據與巨量資料分析;此外還有高速運算應用,例如科學運算、天氣觀測與預測、無線訊號或大規模網路模擬;另舉凡證券交易的即時撮合、金融業或電信業的帳單處理、電影或動畫業的影片後製與檔案格式轉換、網路業的高速儲存服務供應(Provisioned IOPS),及生技製藥業的化學反應模擬,上述種種行業特有應用項目,也都在受惠範疇之列。

值得一提的,進入大數據時代,企業愈來愈難以預估未來五年、十年資料增長幅度,導致過往慣用的「先規劃、再建置」方式不再適用,因此企業紛紛尋求一種能夠先滿足目前所需容量、未來也易於擴充的建置模式,故而對於深具高擴充性的分散式儲存技術Ceph備感興趣;現今已有業者藉由智慧快閃記憶體、Ceph平台,提供企業級資料服務,針對大數據或超大規模工作負載,供應巨大容量、極高效能與卓越可靠度。