模塊化數(shù)據(jù)中心已經(jīng)成為解決當(dāng)今企業(yè)所面臨的不斷增長的數(shù)據(jù)處理需求的一種普遍的解決方案，越來越多的政府單位、企業(yè)正在考慮借助模塊化數(shù)據(jù)中心的諸多優(yōu)勢和其獨特的能力，以滿足各方面的數(shù)據(jù)處理需求。

　　PB級大數(shù)據(jù)帶來的挑戰(zhàn)

　　互聯(lián)網(wǎng)時代，尤其是社交網(wǎng)絡(luò)、電子商務(wù)、移動通信等把人類帶入一個以“PB”為單位的結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)信息的新時代。那么PB級數(shù)據(jù)是什么概念？一提到數(shù)據(jù)量級，人們通常會聯(lián)想到美國國會圖書館。麥肯錫首席分析師Michael Chui指出，美國國會圖書館“在2011年4月前已經(jīng)收集了235TB的數(shù)據(jù)，而一個PB相當(dāng)于它的4倍。”

　　未來10年之內(nèi)人均，實時消費(fèi)數(shù)據(jù)將達(dá)到PB級，是目前數(shù)據(jù)消費(fèi)TB級的1000倍，如此大的數(shù)據(jù)處理需求將給現(xiàn)有的以計算為中心的傳統(tǒng)數(shù)據(jù)中心帶來一系列巨大挑戰(zhàn)，包括實時數(shù)據(jù)處理、按需動態(tài)資源分配及調(diào)整、大規(guī)模系統(tǒng)運(yùn)行的能效等諸多方面。從業(yè)務(wù)層面來看，亟需解決軟硬件資源統(tǒng)一管理、按需分配、合理調(diào)度，信息資源的共享交換、池化管理，形成一套“合規(guī)”的資源服務(wù)池，并從該池中按需獲取所需資源或服務(wù)。

　　“以數(shù)據(jù)為中心”的新型數(shù)據(jù)中心

　　在這種情況下，傳統(tǒng)的數(shù)據(jù)中心必然需要轉(zhuǎn)型，向以數(shù)據(jù)為中心的方向發(fā)展，能夠靈活地將任務(wù)調(diào)度到數(shù)據(jù)位置較近的處理單元。傳統(tǒng)數(shù)據(jù)中心的設(shè)計目標(biāo)是能夠持續(xù)工作，設(shè)計者們要求所設(shè)計的產(chǎn)品能夠用幾百年不損壞、保持正常工作。設(shè)計者心目中的數(shù)據(jù)中心是一大堆物理設(shè)備孤立的堆砌；事實上，建立傳統(tǒng)數(shù)據(jù)中心最初的動機(jī)，就是管理好日益增多的物理設(shè)備，保持良好的環(huán)境，不要損壞和丟失，出了故障有人維修。并且傳統(tǒng)的數(shù)據(jù)中心資源孤立、且不能實現(xiàn)在整個數(shù)據(jù)中心的實時、動態(tài)調(diào)度，這也是傳統(tǒng)數(shù)據(jù)中心資源利用效率低下的根本原因。

　　隨著數(shù)據(jù)中心的發(fā)展，傳統(tǒng)數(shù)據(jù)中心的問題逐漸顯露。達(dá)夢數(shù)據(jù)中心在充分吸收傳統(tǒng)數(shù)據(jù)中心的問題基礎(chǔ)上，推出了“以數(shù)據(jù)為中心”的新型數(shù)據(jù)中心理念。從邏輯上看，達(dá)夢的新型數(shù)據(jù)中心提供一個全局的資源目錄，包含了各種應(yīng)用系統(tǒng)的所有數(shù)據(jù)，構(gòu)成了一個全局統(tǒng)一的邏輯數(shù)據(jù)庫。當(dāng)用戶向這個虛擬的邏輯數(shù)據(jù)庫發(fā)起數(shù)據(jù)訪問請求時，它首先通過檢索全局資源目錄，回答該數(shù)據(jù)是否存在，然后從資源目錄信息中獲取其位置信息，如果該數(shù)據(jù)從物理位置上是存放在本地，則從本地物理庫中獲取，否則根據(jù)資源目錄信息中獲取的遠(yuǎn)程位置信息，通過統(tǒng)一的遠(yuǎn)程數(shù)據(jù)訪問接口來獲取實際數(shù)據(jù)。

　　由此可見，達(dá)夢的新型數(shù)據(jù)中心相當(dāng)于是一個龐大的全局化邏輯庫，可以根據(jù)業(yè)務(wù)的需要，采用某種算法。而實際的物理庫中只會存放那些使用頻率相對較多的數(shù)據(jù)，這樣既可以節(jié)約存儲資源，也能減少數(shù)據(jù)集中后所帶來的數(shù)據(jù)更新的代價。同時根據(jù)數(shù)據(jù)的訪問熱度，可實現(xiàn)對物理庫中數(shù)據(jù)的動態(tài)存儲管理，將最常使用的數(shù)據(jù)放到速度最快的內(nèi)存當(dāng)中，次之的數(shù)據(jù)放到固態(tài)盤，一般的數(shù)據(jù)放到磁盤，較長時間不用的數(shù)據(jù)則移到外部磁盤磁帶中，而長期無人使用的數(shù)據(jù)會被清除以騰出空間。

　　模塊化實現(xiàn)高效部署

　　物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等信息技術(shù)的快速發(fā)展帶來了數(shù)據(jù)爆炸式增長，為了適應(yīng)大數(shù)據(jù)的發(fā)展趨勢，數(shù)據(jù)中心不斷擴(kuò)大規(guī)模、提升性能，以支持越來越復(fù)雜的海量數(shù)據(jù)管理需求。

　　出于性能的考慮，一般對于經(jīng)常要使用的數(shù)據(jù)、以及分析應(yīng)用所需要的數(shù)據(jù)，要從遠(yuǎn)程數(shù)據(jù)源中將數(shù)據(jù)抽取、交換到數(shù)據(jù)中心的目標(biāo)數(shù)據(jù)庫進(jìn)行集中處理。數(shù)據(jù)集中帶來處理方便、性能提升等好處的同時，也帶來了數(shù)據(jù)一致性的問題。如何以較小的代價、最快的速度將數(shù)據(jù)源中發(fā)生變化的數(shù)據(jù)傳遞到數(shù)據(jù)中心目標(biāo)數(shù)據(jù)庫中進(jìn)行更新，以保持兩邊數(shù)據(jù)的一致，已成為數(shù)據(jù)中心建設(shè)必須要考慮的問題。而達(dá)夢突破傳統(tǒng)解決之道，采取“模塊化”的數(shù)據(jù)中心建設(shè)思想，不僅實現(xiàn)數(shù)據(jù)同步、還實現(xiàn)了顯著的性能優(yōu)化。

　　首先，在數(shù)據(jù)交換層面，傳統(tǒng)的數(shù)據(jù)交換采用時間戳、觸發(fā)器、MD5等方式來捕獲增量數(shù)據(jù)，使數(shù)據(jù)源的數(shù)據(jù)庫產(chǎn)生較大負(fù)載，延時也比較大。當(dāng)數(shù)據(jù)量很大，同步時間要求很短的時候，傳統(tǒng)方案難以同時滿足處理性能和數(shù)據(jù)一致性的要求。達(dá)夢的模塊化數(shù)據(jù)中心則采用讀取數(shù)據(jù)源的數(shù)據(jù)庫運(yùn)行日志文件的方法，從中分析出數(shù)據(jù)變化的情況，通過監(jiān)控日志文件的變化，能近乎實時地捕獲到數(shù)據(jù)變化，值得一提的是，這只占用的非常少量的操作系統(tǒng)監(jiān)控和讀取文件資源，對被監(jiān)控的數(shù)據(jù)庫實例的運(yùn)行基本沒有影響。

　　其次，在數(shù)據(jù)中心建設(shè)方面，傳統(tǒng)的數(shù)據(jù)中心建設(shè)周期非常長，而達(dá)夢模塊化數(shù)據(jù)中心在現(xiàn)場部署的速度非常高效，主要是因為模塊化的數(shù)據(jù)分類預(yù)制，從數(shù)據(jù)處理的全生命周期這個角度來說，它主要分為數(shù)據(jù)采集抽取、數(shù)據(jù)整合管理、面向業(yè)務(wù)的數(shù)據(jù)服務(wù)、多樣化數(shù)據(jù)應(yīng)用等四個方面，各自擁有統(tǒng)一接口、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一頂層設(shè)計的模塊化產(chǎn)品，這些以達(dá)夢數(shù)據(jù)庫產(chǎn)品為核心的產(chǎn)品集合，為模塊化數(shù)據(jù)中心的快速部署奠定了堅實基礎(chǔ)。我們沿著數(shù)據(jù)管理生命周期的順序，通過了解模塊化數(shù)據(jù)中心內(nèi)部的管理機(jī)制，可發(fā)現(xiàn)達(dá)夢新型數(shù)據(jù)中心優(yōu)于傳統(tǒng)數(shù)據(jù)中心的特色亮點：

　　數(shù)據(jù)交換：從其他業(yè)務(wù)系統(tǒng)采集數(shù)據(jù)、訪問數(shù)據(jù)時，數(shù)據(jù)交換平臺可針對交換頻繁、數(shù)據(jù)量極大的自動采集需求，使用達(dá)夢異構(gòu)數(shù)據(jù)實時同步工具處理“海量密集，實時異構(gòu)”的采集需求。而針對交換頻度較低，但有一定清洗轉(zhuǎn)換要求的自動采集需求，使用ETL工具定時處理“定期采集，清洗轉(zhuǎn)換”的采集需求。針對涉密敏感、不允許直接交換的數(shù)據(jù)，使用請求服務(wù)引擎實現(xiàn)“按需訪問，數(shù)據(jù)自治”的查詢比對需求。

　　數(shù)據(jù)管理：在數(shù)據(jù)交換、采集完成后，需要對數(shù)據(jù)進(jìn)行整合和梳理，數(shù)據(jù)管理平臺可實現(xiàn)該類需求。對于整合來的各類項目數(shù)據(jù)資源，針對多種采集渠道、承載方式，數(shù)據(jù)資源管理平臺均采用一致的方式進(jìn)行可視化管理和維護(hù)，將碎片離散的信息整體呈現(xiàn)。同時，針對各類信息資源的業(yè)務(wù)屬性描述、來源信息等內(nèi)容，通過元數(shù)據(jù)管理進(jìn)行統(tǒng)一描述、統(tǒng)一歸集、統(tǒng)一管理，使信息資源的重用成為可能。針對數(shù)據(jù)歸集過程中，數(shù)據(jù)不一致、不準(zhǔn)確的情況，主要基于質(zhì)量管理平臺進(jìn)行質(zhì)量管理和提升，基于質(zhì)量規(guī)則，發(fā)現(xiàn)各類數(shù)據(jù)質(zhì)量問題，給出質(zhì)量整改門戶，推進(jìn)數(shù)據(jù)整合的質(zhì)量提升。針對數(shù)據(jù)整合后的梳理和編目需求，主要依靠數(shù)據(jù)資源目錄系統(tǒng)，按照業(yè)務(wù)屬性、提供單位、系統(tǒng)類型等因素進(jìn)行編目梳理，使數(shù)據(jù)能夠被成功訪問和重用。針對所涉及的大量原始非結(jié)構(gòu)數(shù)據(jù)，則是通過文檔管理系統(tǒng)進(jìn)行統(tǒng)一管理，可以有效節(jié)約存儲空間，提供全文檢索等增值能力。

　　數(shù)據(jù)分析：數(shù)據(jù)整合后進(jìn)行服務(wù)發(fā)布運(yùn)用的過程，主要基于數(shù)據(jù)分析服務(wù)平臺來實現(xiàn)。針對數(shù)據(jù)整合建立數(shù)據(jù)倉庫、聯(lián)機(jī)分析的需求，主要采用BI分析平臺來實現(xiàn)數(shù)據(jù)倉庫建設(shè)、聯(lián)機(jī)分析設(shè)計、聯(lián)機(jī)分析呈現(xiàn)等功能。

　　數(shù)據(jù)呈現(xiàn)：針對數(shù)據(jù)選擇性呈現(xiàn)需求，基于數(shù)據(jù)門戶可實現(xiàn)數(shù)據(jù)的組合及篩選處理，完成數(shù)據(jù)面向不同人員、不同環(huán)節(jié)、不同方式的選擇性呈現(xiàn)能力。

　　而數(shù)據(jù)服務(wù)平臺，則提供基于已整合數(shù)據(jù)的非可視化（API，REST，WEBSERVICE）數(shù)據(jù)服務(wù)接口，來滿足數(shù)據(jù)的橫向比對、縱向比對、跨業(yè)務(wù)系統(tǒng)的對接需求。針對數(shù)據(jù)中心及業(yè)務(wù)系統(tǒng)運(yùn)轉(zhuǎn)的情況的可視化需求（如系統(tǒng)承載能力、訪問狀況、異常信息等），主要使用運(yùn)維監(jiān)控系統(tǒng)，通過監(jiān)控門戶、儀表盤、駕駛艙進(jìn)行多角度可視化呈現(xiàn)。針對管數(shù)據(jù)的可視化呈現(xiàn)需求，基于數(shù)據(jù)展現(xiàn)應(yīng)用提供基于已整合數(shù)據(jù)的可視化組件設(shè)計及呈現(xiàn)。

　　結(jié)語

　　在大數(shù)據(jù)時代，達(dá)夢數(shù)據(jù)庫堅持創(chuàng)新發(fā)展的技術(shù)路線，業(yè)界率先推行新型模塊化數(shù)據(jù)中心建設(shè)理念，以數(shù)據(jù)流為主線，實現(xiàn)從大數(shù)據(jù)存儲、數(shù)據(jù)交換、數(shù)據(jù)管理、數(shù)據(jù)分析到數(shù)據(jù)應(yīng)用的全生命周期管理，并結(jié)合多年的項目建設(shè)與實踐經(jīng)驗，致力于為更多政府機(jī)關(guān)、各行業(yè)領(lǐng)域單位提供大數(shù)據(jù)平臺咨詢與技術(shù)服務(wù)，作為國產(chǎn)數(shù)據(jù)庫品牌的中堅力量、領(lǐng)軍企業(yè)，為國產(chǎn)信息化建設(shè)貢獻(xiàn)力量！