我們已經(jīng)跨入了大數(shù)據(jù)時(shí)代，僅從數(shù)據(jù)量的增長(zhǎng)這一指標(biāo)來(lái)看，我們面臨的大數(shù)據(jù)處理壓力已經(jīng)非常巨大。IDC的預(yù)測(cè)數(shù)據(jù)顯示，2020年，全球數(shù)據(jù)總量將達(dá)到40ZB，數(shù)據(jù)每年的增長(zhǎng)速度為55%。數(shù)據(jù)與人們的工作、生活正變得密切相關(guān)，尤其是在像金融、電信等關(guān)系國(guó)計(jì)民生的行業(yè)，數(shù)據(jù)正成為其業(yè)務(wù)發(fā)展的核心。
中國(guó)建設(shè)銀行（以下簡(jiǎn)稱(chēng)建行）就是一例，由于需要?dú)w檔的票據(jù)影像數(shù)據(jù)急劇增加，而原有的光盤(pán)歸檔系統(tǒng)不僅歸檔速度慢、查詢(xún)周期長(zhǎng)，而且不易擴(kuò)展，滿(mǎn)足不了數(shù)據(jù)日益增長(zhǎng)的需求，建行急需一套高效且具有彈性的新型歸檔解決方案。經(jīng)過(guò)多方調(diào)研和評(píng)估，建行最終選擇了華為OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)，該系統(tǒng)采用全分布式架構(gòu)，不僅具備良好的彈性，符合銀行未來(lái)業(yè)務(wù)發(fā)展的趨勢(shì)，而且單一文件系統(tǒng)具有高達(dá)40PB的擴(kuò)展能力，可以滿(mǎn)足建行數(shù)據(jù)存檔15年的容量需求。OceanStor9000存儲(chǔ)系統(tǒng)以磁盤(pán)替代光盤(pán)塔的歸檔方式，提升了檢索和查詢(xún)速度，大大減少了人工成本。
PB級(jí)數(shù)據(jù)處理帶來(lái)挑戰(zhàn)建行是我國(guó)5大國(guó)有商業(yè)銀行之一，在全球和國(guó)內(nèi)設(shè)有眾多分支機(jī)構(gòu)。截至2013年6月底，建行總市值為1767億美元，居全球上市銀行的第五位，它管理的資產(chǎn)規(guī)模超過(guò)12萬(wàn)億元。在《福布斯》2014全球企業(yè)2000強(qiáng)榜單中，建行名列第二。
建行現(xiàn)有的會(huì)計(jì)檔案管理系統(tǒng)（以下簡(jiǎn)稱(chēng)ADMS），通過(guò)WebService方式對(duì)外圍系統(tǒng)提供內(nèi)容歸檔、獲取、修改和刪除等服務(wù)，總行與分行的ADMS系統(tǒng)之間形成交互訪問(wèn)。截至2013年6月，建行分行的ADMS系統(tǒng)管理的在線數(shù)據(jù)量已經(jīng)達(dá)到1850TB，近線數(shù)據(jù)量也突破了1700TB大關(guān)。面對(duì)如此龐大的數(shù)據(jù)存儲(chǔ)量，建行以前用于數(shù)據(jù)歸檔的光盤(pán)塔已經(jīng)捉襟見(jiàn)肘。
據(jù)建行的有關(guān)人員介紹，目前建行每天處理的交易量達(dá)到2000萬(wàn)筆，分布在總行和全國(guó)38個(gè)分行，當(dāng)天對(duì)交易記錄進(jìn)行掃描，然后通過(guò)ADMS系統(tǒng)進(jìn)行處理。所有的數(shù)據(jù)內(nèi)容存儲(chǔ)分為在線和近線兩部分，按照既有的分層存儲(chǔ)策略，在線數(shù)據(jù)通常要保留3年，期滿(mǎn)后數(shù)據(jù)則要?dú)w檔到光盤(pán)塔中進(jìn)行長(zhǎng)期保存，以便后續(xù)的檢索和查詢(xún)。
隨著業(yè)務(wù)量的增加，存儲(chǔ)的數(shù)據(jù)總量已經(jīng)達(dá)到PB級(jí)，原來(lái)針對(duì)TB級(jí)數(shù)據(jù)量設(shè)計(jì)的歸檔方式已經(jīng)無(wú)法滿(mǎn)足業(yè)務(wù)發(fā)展的需要，瓶頸主要表現(xiàn)在以下3方面：
數(shù)據(jù)寫(xiě)入壓力越來(lái)越大。建行總行與38個(gè)分行每天需要?dú)w檔的交易量達(dá)2000萬(wàn)筆，這些交易涉及的票據(jù)影像數(shù)據(jù)需要快速導(dǎo)入到歸檔系統(tǒng)中，然而原有的光盤(pán)歸檔方式速度非常慢，數(shù)據(jù)導(dǎo)入時(shí)間長(zhǎng)，嚴(yán)重影響了工作效率。
歸檔后的查詢(xún)壓力增加。3年需要?dú)w檔的交易紀(jì)錄已達(dá)到100億條，僅靠現(xiàn)有光盤(pán)歸檔方式已不能滿(mǎn)足快速檢索和查詢(xún)的要求，影響了服務(wù)質(zhì)量。按照建行的發(fā)展目標(biāo)，未來(lái)總的交易記錄可能會(huì)上升到400億條，現(xiàn)有的歸檔方式顯然無(wú)法擔(dān)此重任。
存儲(chǔ)壓力倍增。歸檔的數(shù)據(jù)需要至少保存15年。建行預(yù)測(cè)，未來(lái)全國(guó)各分行的數(shù)據(jù)總量將超過(guò)60PB，但是現(xiàn)有的歸檔系統(tǒng)并不具備大規(guī)模擴(kuò)展的能力，很難適應(yīng)業(yè)務(wù)快速發(fā)展的要求。
快速增長(zhǎng)的海量數(shù)據(jù)使得建行ADMS的原有近線存儲(chǔ)（光盤(pán)塔設(shè)備）歸檔速度慢、查詢(xún)響應(yīng)時(shí)間長(zhǎng)、無(wú)法大規(guī)模擴(kuò)容等缺陷暴露無(wú)疑。為了化解大數(shù)據(jù)增長(zhǎng)與傳統(tǒng)歸檔系統(tǒng)低效率之間的矛盾，同時(shí)滿(mǎn)足建行快速發(fā)展的業(yè)務(wù)需求，2013年11月，建行宣布將進(jìn)一步強(qiáng)化數(shù)據(jù)大集中，在總部建立4個(gè)歸檔大區(qū)，方便總行直接檢索和查詢(xún)；在總行及各一級(jí)分行采用華為OceanStor 9000大數(shù)據(jù)存儲(chǔ)解決方案，逐步替換原有的光盤(pán)塔。OceanStor 9000采用全分布式架構(gòu)，其性能、容量和擴(kuò)展能力均在業(yè)界同類(lèi)產(chǎn)品中處于領(lǐng)先地位，不僅可以解決建行在存儲(chǔ)擴(kuò)展性方面的后顧之憂，而且可以將數(shù)據(jù)的查詢(xún)速度由原來(lái)的30分鐘響應(yīng)提升至即時(shí)響應(yīng)。
OceanStor 9000：為大數(shù)據(jù)而生大數(shù)據(jù)的出現(xiàn)對(duì)于數(shù)據(jù)的存儲(chǔ)、管理、分析等提出了前所未有的挑戰(zhàn)。企業(yè)需要一個(gè)融合、高效、易擴(kuò)展的大數(shù)據(jù)存儲(chǔ)平臺(tái)來(lái)解決當(dāng)前難題。OceanStor 9000是華為針對(duì)大數(shù)據(jù)推出的一款集存儲(chǔ)、歸檔和分析能力于一體的存儲(chǔ)系統(tǒng)，它采用全對(duì)稱(chēng)分布式架構(gòu)，具備業(yè)界領(lǐng)先的卓越性能、大規(guī)模的橫向擴(kuò)展能力和超大單一文件系統(tǒng)，可廣泛應(yīng)用于廣電媒資、衛(wèi)星測(cè)繪、基因測(cè)序、能源勘探、科研教育等多種大數(shù)據(jù)業(yè)務(wù)場(chǎng)景。
華為OceanStor 9000在以下幾方面擁有突出的能力。首先，華為OceanStor9000是一款具有強(qiáng)大性能的分布式存儲(chǔ)系統(tǒng)，這讓它在大數(shù)據(jù)處理時(shí)游刃有余。OceanStor 9000基于Share Nothing全對(duì)稱(chēng)分布式架構(gòu)，文件數(shù)據(jù)和元數(shù)據(jù)均勻分布在各個(gè)節(jié)點(diǎn)上，支持多個(gè)節(jié)點(diǎn)并發(fā)訪問(wèn)，最大可支持55TB的全局緩存，為用戶(hù)帶來(lái)極速的性能體驗(yàn)，消除了系統(tǒng)的性能瓶頸。此外，其單一文件系統(tǒng)的存儲(chǔ)容量高達(dá)40PB；其次，華為OceanStor 9000支持線性的容量與性能擴(kuò)展。華為OceanStor9000的橫向擴(kuò)展架構(gòu)可以支持從3個(gè)節(jié)點(diǎn)到288個(gè)節(jié)點(diǎn)的平滑擴(kuò)展，容量和性能均隨節(jié)點(diǎn)數(shù)量的增加呈線性增長(zhǎng)；最后，華為OceanStor 9000大數(shù)據(jù)存儲(chǔ)采用單一文件系統(tǒng)，同時(shí)整體方案中設(shè)備集中統(tǒng)一管理，使用和管理都很簡(jiǎn)單；軟件平臺(tái)可自動(dòng)化部署和配置，實(shí)現(xiàn)一鍵式快速擴(kuò)容，單節(jié)點(diǎn)擴(kuò)容60秒之內(nèi)即可完成。正是因?yàn)槿A為OceanStor 9000在大數(shù)據(jù)處理方面的優(yōu)異表現(xiàn)，才最終贏得了建行的青睞。
為應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，存儲(chǔ)系統(tǒng)應(yīng)以更快、更大、更靈活擴(kuò)展的存儲(chǔ)基礎(chǔ)架構(gòu)為出發(fā)點(diǎn)，增強(qiáng)融合的數(shù)據(jù)挖掘和數(shù)據(jù)歸檔能力。華為OceanStor 9000正是致力于在這些方面進(jìn)行持續(xù)創(chuàng)新，以滿(mǎn)足日益增加的大容量和高性能的存儲(chǔ)需求，幫助客戶(hù)打造效率更高的大數(shù)據(jù)存儲(chǔ)平臺(tái)。OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)已經(jīng)在國(guó)內(nèi)外的金融票據(jù)影像歸檔、廣電媒資、衛(wèi)星測(cè)繪、智慧城市視頻監(jiān)控存儲(chǔ)分析等領(lǐng)域得到了廣泛應(yīng)用和驗(yàn)證。
客戶(hù)的聲音
“華為OceanStor 9000采用先進(jìn)的Scale-out全分布式架構(gòu)，在可靠性、可擴(kuò)展性、性能和可維護(hù)性上處于業(yè)界領(lǐng)先水平， 多個(gè)節(jié)點(diǎn)并發(fā)訪問(wèn)，可提供高并發(fā)、高帶寬、低時(shí)延的存儲(chǔ)性能，滿(mǎn)足建行的應(yīng)用需求。”
——中國(guó)建設(shè)建行工程師
