掌握關鍵技術 解決雲端儲存挑戰

關貿網路 技術長 史素珍

由於雲端運算具有隨需自助服務、資源集中化供應、快速調整的彈性、透過網路由遠端存取及能夠量化的服務…等特性，讓人們能夠依照其本身的需求，以投入最少管理工作量的方式，即可藉由網路快速且方便地存取包括網路、伺服器、儲存空間、應用系統…等電腦資源，不受時間、地點及裝置的限制，享受各種多樣化的服務，因此近來年廣泛受到企業的歡迎。根據BITNAMI等多家單位的調查結果顯示，2011年完全沒有導入雲端運算計畫的企業僅有20%的比例，而在其餘80%的企業之中，則分別有61%、54%及53%是由於系統擴展、全面節省成本及易於管理…等理由而導入雲端運算環境。

在台灣長期從事B2B電子商務及提供ASP服務的關貿網路，自然也不會忽視此股龐大的市場商機，其技術長史素珍對此表示，該公司以既有的B2B商業模式典範為基礎，除提供客戶底層共通基礎的伺服器、作業系統…等IT運算資源之外，依據特定目標用戶群的需求，關貿網路也整合了各項不同的應用系統及中介軟體平台，將其發展成個別特用的Community Cloud環境，使目標企業能夠藉由使用其中的SaaS服務，快速邁入雲端運算時代。「在這雲端服務的發展過程中，我們採取了結合ISV共同開發企業營所需的軟體套件、訂定產業服務整合API標準、提供跨雲服務介接及整合用戶端裝置以支援雲應用服務…等多項策略。」史素珍認為，執行這些策略最終目的，是希望能透過將服務延伸至雲端的方式，讓中小企業的競爭力獲得有效提升。

不過要實踐上述策略，有一些雲端運算的關鍵技術必須要予以掌握。史素珍表示，由於雲端運算環境中的IT資源往往分散於各地區，其組成及運作方式不僅要比傳統架構更為複雜，再加上因為需要提供眾多租戶服務所產生的巨量資料，而每個租戶對於IT環境及使用需求狀況都不盡相同，因此如何在以有限資源提供每個租戶應有服務水準的前提下，透過標準化方式快速部署及擴增雲端環境，依照需求狀況有效管理、調度各項IT資源，確保資料的安全及平台可用性，讓用戶彼此之間不會互相干擾，以及對租戶進行適當的授權管理與使用量計費，即成為雲端服務業者急待解決的課題。「這也使得多租戶、分散式/平行運算、訊息傳輸與分散式儲存…等技術的重要程度越來越高。」

以關貿網路近兩年所建置，可協助企業及消費者進行電子發票交換、存放，以及能透過不同載具進行查詢、瀏覽的二代電子發票雲平台為例子，受到其長期存證資料快速大量累積的影響，該雲端平台環境預計每日就要處理高達1,100萬筆資料，合計一年便要處理40億張。「因此如何提高其整體作業效能及資料安全性可說變得十分重要。」史素珍表示，對此關貿網路利用了分析可被平行處理工作的手段，將執行作業進行持續的分割，以求大幅縮短每單筆工作所需的作業時間，並再利用合理分配工作、改善CPU效能以分散作業瓶頸…等方式，讓該雲端平台的執行效能獲得顯著的提升。

舉其「歸戶處理架構」的處理程做說明，假設現有1,000張發票需要進行歸戶統計，歸戶處理架構平台會依據某些事先製定好的規則與政策(如發票的末三號碼)，將這些需要處理發票都先一一進行分割，以便對應到後續的歸戶主機進行處理，至於相關處理的主機則可視當時作業執行的狀況，動態地將計算資源進行的適當調配，以求加速整體作業的完成，「最後我們可將各個處理完成的歸戶資料合併起來進行累積統計，再把最終執行結果存儲到系統資料庫內，以便供後續人們查詢及加值利用。」史素珍說，透過此一方法，該二代電子發票雲平台每年處理的電子發票數量自2007年起，即由原先的1,794萬張，至2011年提升至1億9,817萬張，商店數也成長至12,384家，4年內約增長了10倍。

另一方面，面對現在大量產生的電子化商業文件長期累積所衍伸出的保存、調閱及法律糾紛舉證…等需求，關貿網路也發展了一套商業文件雲端存證中心來提供相關的服務。「人們現在可將電子合約、保單、電子發票…等各項商業文件存證存放在雲端環境內，待有需要時再進行檢索調閱，或透過網路與他人分享。」不過要提供這類型的服務，必須要以十分龐大的運算能力及用戶資料儲存空間為基礎才有可能達成，因此為了讓開發人員不用考慮雲端環境中資料實際應如何儲存、運算應如何切割…等問題，關貿網路在其雲端存證架構上採用了HDFS檔案系統、Hadoop Map Reduce模式及HBase資料庫系統來進行資料與運算的管理，以求加快平台開發的速度，而且無需再擔心服務開發以外的狀況。