我們已經(jīng)跨入了大數(shù)據(jù)時代，僅從數(shù)據(jù)量的增長這一指標來看，我們面臨的大數(shù)據(jù)處理壓力已經(jīng)非常巨大。IDC的預測數(shù)據(jù)顯示，2020年，全球數(shù)據(jù)總量將達到40ZB，數(shù)據(jù)每年的增長速度為55%。數(shù)據(jù)與人們的工作、生活正變得密切相關(guān)，尤其是在像金融、電信等關(guān)系國計民生的行業(yè)，數(shù)據(jù)正成為其業(yè)務發(fā)展的核心。
中國建設銀行（以下簡稱建行）就是一例，由于需要歸檔的票據(jù)影像數(shù)據(jù)急劇增加，而原有的光盤歸檔系統(tǒng)不僅歸檔速度慢、查詢周期長，而且不易擴展，滿足不了數(shù)據(jù)日益增長的需求，建行急需一套高效且具有彈性的新型歸檔解決方案。經(jīng)過多方調(diào)研和評估，建行最終選擇了華為OceanStor 9000大數(shù)據(jù)存儲系統(tǒng)，該系統(tǒng)采用全分布式架構(gòu)，不僅具備良好的彈性，符合銀行未來業(yè)務發(fā)展的趨勢，而且單一文件系統(tǒng)具有高達40PB的擴展能力，可以滿足建行數(shù)據(jù)存檔15年的容量需求。OceanStor9000存儲系統(tǒng)以磁盤替代光盤塔的歸檔方式，提升了檢索和查詢速度，大大減少了人工成本。
PB級數(shù)據(jù)處理帶來挑戰(zhàn)建行是我國5大國有商業(yè)銀行之一，在全球和國內(nèi)設有眾多分支機構(gòu)。截至2013年6月底，建行總市值為1767億美元，居全球上市銀行的第五位，它管理的資產(chǎn)規(guī)模超過12萬億元。在《福布斯》2014全球企業(yè)2000強榜單中，建行名列第二。
建行現(xiàn)有的會計檔案管理系統(tǒng)（以下簡稱ADMS），通過WebService方式對外圍系統(tǒng)提供內(nèi)容歸檔、獲取、修改和刪除等服務，總行與分行的ADMS系統(tǒng)之間形成交互訪問。截至2013年6月，建行分行的ADMS系統(tǒng)管理的在線數(shù)據(jù)量已經(jīng)達到1850TB，近線數(shù)據(jù)量也突破了1700TB大關(guān)。面對如此龐大的數(shù)據(jù)存儲量，建行以前用于數(shù)據(jù)歸檔的光盤塔已經(jīng)捉襟見肘。
據(jù)建行的有關(guān)人員介紹，目前建行每天處理的交易量達到2000萬筆，分布在總行和全國38個分行，當天對交易記錄進行掃描，然后通過ADMS系統(tǒng)進行處理。所有的數(shù)據(jù)內(nèi)容存儲分為在線和近線兩部分，按照既有的分層存儲策略，在線數(shù)據(jù)通常要保留3年，期滿后數(shù)據(jù)則要歸檔到光盤塔中進行長期保存，以便后續(xù)的檢索和查詢。
隨著業(yè)務量的增加，存儲的數(shù)據(jù)總量已經(jīng)達到PB級，原來針對TB級數(shù)據(jù)量設計的歸檔方式已經(jīng)無法滿足業(yè)務發(fā)展的需要，瓶頸主要表現(xiàn)在以下3方面：
數(shù)據(jù)寫入壓力越來越大。建行總行與38個分行每天需要歸檔的交易量達2000萬筆，這些交易涉及的票據(jù)影像數(shù)據(jù)需要快速導入到歸檔系統(tǒng)中，然而原有的光盤歸檔方式速度非常慢，數(shù)據(jù)導入時間長，嚴重影響了工作效率。
歸檔后的查詢壓力增加。3年需要歸檔的交易紀錄已達到100億條，僅靠現(xiàn)有光盤歸檔方式已不能滿足快速檢索和查詢的要求，影響了服務質(zhì)量。按照建行的發(fā)展目標，未來總的交易記錄可能會上升到400億條，現(xiàn)有的歸檔方式顯然無法擔此重任。
存儲壓力倍增。歸檔的數(shù)據(jù)需要至少保存15年。建行預測，未來全國各分行的數(shù)據(jù)總量將超過60PB，但是現(xiàn)有的歸檔系統(tǒng)并不具備大規(guī)模擴展的能力，很難適應業(yè)務快速發(fā)展的要求。
快速增長的海量數(shù)據(jù)使得建行ADMS的原有近線存儲（光盤塔設備）歸檔速度慢、查詢響應時間長、無法大規(guī)模擴容等缺陷暴露無疑。為了化解大數(shù)據(jù)增長與傳統(tǒng)歸檔系統(tǒng)低效率之間的矛盾，同時滿足建行快速發(fā)展的業(yè)務需求，2013年11月，建行宣布將進一步強化數(shù)據(jù)大集中，在總部建立4個歸檔大區(qū)，方便總行直接檢索和查詢；在總行及各一級分行采用華為OceanStor 9000大數(shù)據(jù)存儲解決方案，逐步替換原有的光盤塔。OceanStor 9000采用全分布式架構(gòu)，其性能、容量和擴展能力均在業(yè)界同類產(chǎn)品中處于領(lǐng)先地位，不僅可以解決建行在存儲擴展性方面的后顧之憂，而且可以將數(shù)據(jù)的查詢速度由原來的30分鐘響應提升至即時響應。
OceanStor 9000：為大數(shù)據(jù)而生大數(shù)據(jù)的出現(xiàn)對于數(shù)據(jù)的存儲、管理、分析等提出了前所未有的挑戰(zhàn)。企業(yè)需要一個融合、高效、易擴展的大數(shù)據(jù)存儲平臺來解決當前難題。OceanStor 9000是華為針對大數(shù)據(jù)推出的一款集存儲、歸檔和分析能力于一體的存儲系統(tǒng)，它采用全對稱分布式架構(gòu)，具備業(yè)界領(lǐng)先的卓越性能、大規(guī)模的橫向擴展能力和超大單一文件系統(tǒng)，可廣泛應用于廣電媒資、衛(wèi)星測繪、基因測序、能源勘探、科研教育等多種大數(shù)據(jù)業(yè)務場景。
華為OceanStor 9000在以下幾方面擁有突出的能力。首先，華為OceanStor9000是一款具有強大性能的分布式存儲系統(tǒng)，這讓它在大數(shù)據(jù)處理時游刃有余。OceanStor 9000基于Share Nothing全對稱分布式架構(gòu)，文件數(shù)據(jù)和元數(shù)據(jù)均勻分布在各個節(jié)點上，支持多個節(jié)點并發(fā)訪問，最大可支持55TB的全局緩存，為用戶帶來極速的性能體驗，消除了系統(tǒng)的性能瓶頸。此外，其單一文件系統(tǒng)的存儲容量高達40PB；其次，華為OceanStor 9000支持線性的容量與性能擴展。華為OceanStor9000的橫向擴展架構(gòu)可以支持從3個節(jié)點到288個節(jié)點的平滑擴展，容量和性能均隨節(jié)點數(shù)量的增加呈線性增長；最后，華為OceanStor 9000大數(shù)據(jù)存儲采用單一文件系統(tǒng)，同時整體方案中設備集中統(tǒng)一管理，使用和管理都很簡單；軟件平臺可自動化部署和配置，實現(xiàn)一鍵式快速擴容，單節(jié)點擴容60秒之內(nèi)即可完成。正是因為華為OceanStor 9000在大數(shù)據(jù)處理方面的優(yōu)異表現(xiàn)，才最終贏得了建行的青睞。
為應對大數(shù)據(jù)的挑戰(zhàn)，存儲系統(tǒng)應以更快、更大、更靈活擴展的存儲基礎架構(gòu)為出發(fā)點，增強融合的數(shù)據(jù)挖掘和數(shù)據(jù)歸檔能力。華為OceanStor 9000正是致力于在這些方面進行持續(xù)創(chuàng)新，以滿足日益增加的大容量和高性能的存儲需求，幫助客戶打造效率更高的大數(shù)據(jù)存儲平臺。OceanStor 9000大數(shù)據(jù)存儲系統(tǒng)已經(jīng)在國內(nèi)外的金融票據(jù)影像歸檔、廣電媒資、衛(wèi)星測繪、智慧城市視頻監(jiān)控存儲分析等領(lǐng)域得到了廣泛應用和驗證。
客戶的聲音
“華為OceanStor 9000采用先進的Scale-out全分布式架構(gòu)，在可靠性、可擴展性、性能和可維護性上處于業(yè)界領(lǐng)先水平， 多個節(jié)點并發(fā)訪問，可提供高并發(fā)、高帶寬、低時延的存儲性能，滿足建行的應用需求。”
——中國建設建行工程師
