商業智慧系統建置成功的要素 智慧應用 影音
DFORUM
DForum0522

商業智慧系統建置成功的要素

  • DigiTimes企劃

很多企業想做商業智慧(Business Intelligence;BI),卻不知道該怎麼做。2000年就開始接觸BI的耐特普羅資訊技術總監吳承諭指出,企業必須對於BI要有正確的認識,如絕大多數的BI並不會自己產生資料,而是從各個系統來源蒐集資料,可能是檔案交換、網路上的XML檔案,或是其他AP介接過來。

吳承諭指出,在一個BI完整的架構中,會有一個資料庫,而因為不同的產業需求而有不同的模型,且因為使用者無法直接使用後端資料庫,必須要有前端展現應用系統搭配,包括統計報表、決策支援、樞紐分析、戰情報告等,才能將後端的資料順利送至前端,產生使用者真正需要的資訊,

耐特普羅資訊股份有限公司 技術總監 吳承諭

耐特普羅資訊股份有限公司 技術總監 吳承諭

但是,不是有了資料,就能夠就擁有資訊,因為資料蒐集回來,包括順序、品質都可能有問題,如果不能適時修正,所產生的資訊一樣不正確,也就是所謂的「Garbage In Garbage Out」。

因此,吳承諭認為,企業有必要建置獨立BI系統,因為「應用不同」。吳承諭表示,資料庫可以分為OLTP(交易型)如ERP,強調的是反應時間,一次處理的資料量並不大;BI則屬於OLAP(分析型),資料量通常相當大,但對於反應時間的要求就不高。

前述兩種資料庫的特性,自然就會影響前端應用系統的效能,為了避免影響前端系統效能,資料必須整合在相同位置後,才能進行分析,BI系統資料庫也才能進行優化,執行效能會比在OLTP資料庫上執行來得更好。

一般而言,BI系統的建置可以分為五個階段,分別是確認及記錄需求的「需求階段」、了解資料、架構、模型設計及資料對應的「規劃階段」、作業開發、流程設計及資料驗證的「建置階段」、批次作業執行、資料品質監控的「上線階段」及日常維運、異常處理機制及快速反應需求變更的「維運/變更階段」。

吳承諭指出,很多企業以為只要系統上線,專案就結束了,反而忽略維運及變更。但BI與其他系統的差別,就在於系統建置並非上線就結束了,因為BI的主要價值就是能夠因應市場的變化,提供適當的資訊,然而現今市場瞬息萬變,因此BI必須不斷的變動,如何快速且即時的變動,或是異常處理,都是BI上線之後,必須不斷要求的地方。

吳承諭認為,BI建置要成功,要注意七大要素。第一個是做好元數據(Metadata)管理。元數據是指用來描述資料/系統/定義的說明,更是做好資訊治理(Information Governance)的基礎。吳承諭強調,除了資料系統本身外,應用系統的元數據,也必須納入管理,包括系統/服務/程式層級描述資訊。

資料字典的建置也很重要,因為不同人員的描述資訊,可能會相當抽象,如果沒有一致性的溝通基礎,隨著資訊系統的建置及修改,資訊不一致的問題會更嚴重,唯有透過建置資料字典,管理抽象資訊,才能做好資訊治理。

第二個是了解你所處理的資料,因為BI既然是對已存在的資料進行收集與分析應用,所以一定要知道資料格式的樣貌,一旦資料格式與預期認知不同,就得進行修正。

吳承諭指出,通常資料格式會與預期認同出現不同的原因,包括系統需求變更、文件遺漏或未更新及不同系統來源,因此建置BI一定要做好資料剖析,包括檢查數據內容是否與元數據中所定義描述的一致、找出是否有遺漏值、可能的內定值、無效值的存在,並檢查內容格式是否有不一致的狀況,將問題準備好,再去詢問相關業務的負責人員,才能建置出有效的BI系統。

第三個是選擇開發工具,有些企業認為只要讓工程師寫程式開發即可,但吳承諭指出,隨著系統日趨複雜,採用人力成本會大於工具購置成本,如用人力開發往往會因為人力流動,而導致作業程式不易維持一致標準,技術交接也比較困難,更因此容易產生資安漏洞,導致開發速度及執行效能因此降低,造成後續修改成本提高,進而造成人力開發的整體開發費用,要比工具建置來得高。

第四個是基礎架構建置方式,必須涵蓋End-to-End作業流程控管,從來源資料彙整作業,一直到前端報表產生作業,都必須注意到,如報表產生筆數如果過少,就算資訊正確,也不見得能適度發揮BI系統的價值。

第五個是資料品質清理與監控,包括預防提供錯誤資訊、避免產生昂貴錯誤,及如何強化資料清理能力等。吳承諭強調,對於來源資料品質監控程序,必須持續性進行,除了從資料的來源,來發現資料格式的錯誤,也要針對產生的資訊進行監控。

第六個是批次作業與異常處理機制,吳承諭指出,根據Gartner統計,有70%的資訊是透過批次作業產生,而複雜的BI系統往往會有2000~3000個批次作業,IT人員必須考慮的因素很多,包括如何在異常發生時通知負責人員、如何有效監控作業執行狀況、如何規劃良好的批次作業執行機制、作業分散在多台機器上的協同控制機制及重新執行作業時的權限控管與稽核機制等。

最後,也是吳承諭認為企業常常忽略的,就是長期維運規劃,因為開發人員及維運人員的任務其實不同,開發人員重視的是如何快速反應需求變更與降低維運人力成本,維運管理卻比較重視如何提供簡易有效的系統監控介面給維運人員。因此,吳承諭建議,企業應該設法尋求一個兼具開發與維運的平台,可大幅降低建置及維運成本。