大數據上雲 打造智慧應用與決策的捷徑

2019/06/26 - DIGITIMES企劃

隨著大數據與物聯網時代的到來，大數據分析已經成為企業發掘商業價值、即時回應市場需求，並發展各種能成就更高價值之AI與智慧應用的關鍵。為了降低技術門檻、成本及維護負荷，並蛻變成為「以資料為中心」(Data-Centric)的企業，大數據分析已經成為不可逆的趨勢與最佳解決方案。

長久以來，為了維護並發揮資料價值，企業歷經了自建資料庫、自建資料倉儲等不同階段。隨著大數據蔚為趨勢，傳統自建方案開始在成本、彈性度、可擴展性，甚至安全性上捉襟見肘，這些因素與愈滾愈大的大數據迫使企業走上選擇雲端資料倉儲方案(Data Warehouse)/大數據分析雲端服務的路子，如此一來，企業才能從中萃取出符合自身長遠發展利益的商業價值與智慧。

如今市面上大數據分析雲端服務早已成為熱門顯學，包括Google BigQuery、IBM DB2 Warehouse on Cloud、Oracle Autonomous Data Warehouse Cloud、Microsoft Azure SQL Data Warehouse及Amazon Redshift Cloud Data Warehouse。其中，Google及微軟方案更支援無伺服器(Serverless)運算架構，讓企業更無後顧之憂——完全不用在乎基礎設施的管理或擴充問題，也不需建立管理Hadoop/Spark叢集的團隊——完全專注在大數據分析、商業價值與洞見萃取，乃至AI訓練與智慧應用開發等關鍵面向上。


圖說：Google大數據資料分析服務。(Google Cloud)

多雲及混合雲整合挑戰

隨著資料量的不斷爆增，企業自建資料倉儲的經濟效益愈來愈低，公有雲端為此提供了兼具成本、可擴展性與效率的最佳解決之道。但對企業來說，其只會將非敏感性大數據放到雲端資料倉儲之中，並透過公有雲端大數據分析來進行分析。但敏感性資料，大部分企業仍會儲存在自家私有雲端裡。

於是乎如何成功地將私有雲與公有雲整合在一起，便成為需要被有效解決以協助建立混合雲端基礎架構的最大問題之一。畢竟整合多種雲端服務所需要的技術技能與含量非常高，雖然在雲端之間傳輸一般應用程式非常容易，但想要跨環境地搬移組態與詮釋資料(Metadata)就非常困難了。

再講到相容性，那更是整合上最痛頭的問題之一。整合工作負載的本質會最終決定使用者會選擇哪一台主機，並判定當下混合雲是否可行。即使對最老練的雲端技術人員來說，想對能用來搬移處理程序的樣式與工具進行了解仍是很大的挑戰。再者，將傳統既有系統與雲端運算加以整合也是複雜到不行的棘手任務，更別說想打造一個可以管理整合工作的基礎設施就更複雜了，因為它會涉及數以百計的應用程式及服務。

除了混合雲外，企業為了降低對單一雲端服務的依賴性，再加上當前充斥著從基礎設施、開發環境、應用服務，到資料倉儲、大數據分析及AI等各式各樣、應有盡有的不同類型雲端服務，多雲端(Multi-Cloud)也成為許多企業裡的常見架構。多雲端與混合雲架構不盡相同，前著指的是多種雲端運算與雲端儲存服務在單一異質架構中的使用而言，它通常包含兩個以上的公有雲端以及私有雲端；後者則是公有雲端與私有雲端的組合，其為不同實體的相互綁定，具備多種部署模型的優點。


圖說：多雲端架構示意圖。(Rick's Cloud)

不論混合雲或多雲端架構，企業必須解決如同前述之不同雲端間的整合問題與協同作業問題。以往，企業可能會面臨同一專案作業在不同雲端間的資料整合、協同與效能問題。因此之故，如何讓多雲端/混合雲端架構下能擁有更有效率、更加一致的應用體驗、使用速度/效能、使用介面/版本，乃至應用與資料的相容性及互操作性遂成為當務之急。

事實上，當前已有許多運算、儲存及網路基礎設施服務商開始與各家公有雲端服務供應商合作，將各種最佳化的基礎設施與特定功能——例如Pure Storage提供一種可以優化多雲端架構下儲存、分享、資料分析的基礎設施——整合到各大公有雲端服務中，使用者可根據自身的預算與需求，在新/已採用的公有雲端服務中勾選想要優化的功能，便可快速方便地解決以往多雲端/混合雲端架構下的整合問題與協同作業問題。

從資料導向進化成以資料為中心模式

不論是過去的資料庫，還是因應大數據時代的資料湖(Data Lake)或資料倉儲，莫不以資料為中心，再再說明了資料一直在企業營運上扮演著舉足輕重的角色。

隨著大數據時代的到來，許多解決方案商開始強調「資料導向」(Data-Driven)決策的概念及重要性，為了達到更佳的資料品質並篩選出更有價值的資料，以供主事者做出最完美的決策，企業被要求必須將各種蒐集到的資料加以處理與分析以萃取出洞見，但實際能真正完美達成的企業並不多。

原因在於以往企業的基礎架構皆以應用程式導向(Application-Driven)為設計核心，許多大數據方案商所強調的資料導向決策概念，反而助長了每個應用程式皆有自己專屬資料的發展趨勢。換言之，每個應用程式都只會搜集並儲存自己所需的資料，進而造成新的大數據孤井(Silo)。如此一來，其根本無法實現原本資料導向決策概念所希望實現的「將資料置於企業文化核心」目標，反而只是將資料置於企業IT系統的核心上。想在應用程式導向架構下運用資料，必須經過繁雜的複製、遷移、轉換等作業，企業將失去即時回應瞬息萬變之外部環境與趨勢的能力與良機。

為了解決這個難題，當前遂有像是Pure Storage等廠商提出「以資料為中心」概念的呼籲，以徹底打破應用程式各有專屬資料，甚至產品及供應商各有專屬資料的資料孤井及隔閡狀況。進一步而言，在該概念的加持下，企業必須建立能將所有資料整合在一起的單一資料模型，並透過可管理與整合的資料與程序來確保資料的準確性、完整性與即時性，如此才能完美即時地擬定出能因應各種關鍵趨勢與需求的決策。

有感於大數據已不只是口號，DIGITIMES特於7月11日(四)假台北喜來登飯店舉辦「雲端大數據論壇」，邀請到以大數據決策行銷聞名的夏雨農擔任Keynote講師，並有第一線、IBM、Mellanox、HENNGE、Pure storage...等服務供應商發表最新方案，以及零售、運輸、智慧工廠等新創案例分享，歡迎一同掌握大數據，即速報名請點閱活動網址。