“在本次Hadoop大數(shù)據(jù)項(xiàng)目中，華為向農(nóng)行提供了良好的計(jì)算平臺，除了RH2288 V2服務(wù)器具有比較高的性價(jià)比之外，華為還能夠提供快速響應(yīng)客戶需求的研發(fā)能力、以及業(yè)界最快捷的售后服務(wù)，解除了農(nóng)行的后顧之憂，是農(nóng)行值得信賴的IT供應(yīng)商。”
客戶簡介
中國農(nóng)業(yè)銀行（Agricultural Bank of China），簡稱農(nóng)行，成立于1951年，是中國四大商業(yè)銀行之一。中國農(nóng)業(yè)銀行在中國境內(nèi)擁有2.34萬家分支機(jī)構(gòu)，服務(wù)逾4.2億客戶。2012年，在美國《財(cái)富》雜志全球500強(qiáng)排名中，中國農(nóng)業(yè)銀行位列第84位。
業(yè)務(wù)挑戰(zhàn)
商業(yè)銀行的信息化建設(shè)涉及多個(gè)方面，從面向客戶服務(wù)的網(wǎng)上銀行、電話銀行、移動(dòng)支付、呼叫中心，到面向企業(yè)經(jīng)營與管理的電子票據(jù)、電子報(bào)表、業(yè)務(wù)影像、自動(dòng)化辦公等，信息化已經(jīng)滲透到銀行業(yè)務(wù)與管理的方方面面，并成為商業(yè)銀行核心競爭力的一項(xiàng)重要內(nèi)容。
隨著信息化的快速發(fā)展，商業(yè)銀行產(chǎn)生的各類電子數(shù)據(jù)近年來呈幾何級數(shù)增長，形成了海量的數(shù)據(jù)。據(jù)不完全統(tǒng)計(jì)，目前中國農(nóng)業(yè)銀行各應(yīng)用系統(tǒng)每年產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)已經(jīng)突破100TB，而非結(jié)構(gòu)化數(shù)據(jù)更是突破1PB（1024TB）大關(guān)。
在信息化時(shí)代，數(shù)據(jù)深刻影響著銀行的未來發(fā)展，誰擁有數(shù)據(jù)誰就獲得了話語權(quán)。數(shù)據(jù)的價(jià)值來源于對海量的客戶交易數(shù)據(jù)、客戶行為數(shù)據(jù)等的深層挖掘和分析，以便做到精準(zhǔn)定位和營銷，進(jìn)而根據(jù)不同的客戶和市場需求設(shè)計(jì)不同的金融產(chǎn)品，提升銀行的盈利能力。這種基于大數(shù)據(jù)的金融業(yè)務(wù)創(chuàng)新，目前已經(jīng)成為各商業(yè)銀行的競爭焦點(diǎn)之一。
對大數(shù)據(jù)進(jìn)行挖掘與分析，一是要能夠廉價(jià)處理海量的數(shù)據(jù)，例如一次性可處理100GB甚至更高的數(shù)據(jù)量；二是要能夠敏捷處理非結(jié)構(gòu)化的海量數(shù)據(jù)，例如可以從海量的客戶電話投訴記錄中挖掘出有價(jià)值的營銷機(jī)會(huì)點(diǎn)。
近年來，隨著Hadoop大數(shù)據(jù)方案在互聯(lián)網(wǎng)行業(yè)廣泛應(yīng)用并持續(xù)創(chuàng)造價(jià)值，中國農(nóng)業(yè)銀行開始關(guān)注并研究大數(shù)據(jù)方案在金融領(lǐng)域的應(yīng)用。2012年7月，農(nóng)行正式引入業(yè)內(nèi)廣受關(guān)注的Hadoop大數(shù)據(jù)方案，并對相關(guān)的軟硬件技術(shù)及其在銀行內(nèi)的應(yīng)用可行性進(jìn)行了充分的研究，明確了大數(shù)據(jù)方案在農(nóng)行的應(yīng)用場景。
“在互聯(lián)網(wǎng)時(shí)代，我們必須要轉(zhuǎn)變經(jīng)營方式，用互聯(lián)網(wǎng)的思維來做金融，為客戶提供創(chuàng)新的、量身定制的、體驗(yàn)良好的金融服務(wù)，這樣才能持續(xù)保持商業(yè)銀行的競爭力”，農(nóng)行的專家這樣認(rèn)為。
農(nóng)行的大數(shù)據(jù)方案首先被應(yīng)用于支撐對歷史交易數(shù)據(jù)進(jìn)行查詢與分析，其采用業(yè)界流行的Hadoop分布式計(jì)算框架，具備處理海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的能力。Hadoop框架的一個(gè)顯著特點(diǎn)是，將以往需要高性能小型機(jī)才能完成的計(jì)算任務(wù)，分解為由多臺x86服務(wù)器（甚至PC機(jī)）組成的計(jì)算集群來完成。在計(jì)算平臺的選擇上，農(nóng)行的IT技術(shù)團(tuán)隊(duì)在經(jīng)過認(rèn)真的評估與論證后認(rèn)為，由x86服務(wù)器組成的計(jì)算集群，在計(jì)算性能上可以滿足Hadoop大數(shù)據(jù)方案的要求，但在經(jīng)濟(jì)性方面比小型機(jī)更具有優(yōu)勢。
為了驗(yàn)證這種可行性，2012年下半年，農(nóng)行的IT技術(shù)團(tuán)隊(duì)與華為的服務(wù)器研發(fā)團(tuán)隊(duì)成立了聯(lián)合工作組。根據(jù)雙方達(dá)成的合作協(xié)議，華為將提供x86服務(wù)器組成計(jì)算集群，由農(nóng)行在華為的計(jì)算平臺上運(yùn)行Hadoop的相關(guān)軟件，并進(jìn)行相關(guān)的業(yè)務(wù)測試。農(nóng)行與華為均希望通過試點(diǎn)“x86服務(wù)器”的分布式并行計(jì)算架構(gòu)，來共同應(yīng)對金融大數(shù)據(jù)業(yè)務(wù)帶來的挑戰(zhàn)。
首先，農(nóng)行希望x86服務(wù)器在計(jì)算性能上應(yīng)具備“秒級響應(yīng)”的能力。目前，農(nóng)行在中國境內(nèi)的分支機(jī)構(gòu)超過2.34萬，服務(wù)的客戶超過4.2億，各營業(yè)網(wǎng)點(diǎn)、自助終端設(shè)備、網(wǎng)上銀行等對數(shù)據(jù)中心的訪問屬于高并發(fā)訪問。對于歷史交易數(shù)據(jù)的查詢與分析業(yè)務(wù)，為確�？蛻舻臐M意度與銀行的工作效率，農(nóng)行要求大數(shù)據(jù)處理平臺對交易明細(xì)數(shù)據(jù)的隨機(jī)查詢要在“秒級”完成響應(yīng)。
“這就意味著，在1秒鐘之內(nèi)，大數(shù)據(jù)處理平臺要從120TB的5年歷史交易數(shù)據(jù)中，也就是大約650億條的歷史交易記錄中，將查詢結(jié)果反饋給用戶”，農(nóng)行的專家這樣跟華為說。
其次，農(nóng)行希望x86服務(wù)器具備良好的經(jīng)濟(jì)性。在應(yīng)用x86服務(wù)器之前，農(nóng)行多采用小型機(jī)來承載歷史交易數(shù)據(jù)的查詢與分析業(yè)務(wù)。為滿足業(yè)務(wù)要求，小型機(jī)首先需要存放至少5年120TB的歷史數(shù)據(jù)，同時(shí)每天新增的交易記錄在4000萬條以上，需要約100G的存儲(chǔ)空間。但小型機(jī)相對封閉的硬件架構(gòu)設(shè)計(jì)，使得其可擴(kuò)展性受到很大的限制，導(dǎo)致每次擴(kuò)容的成本都很高昂。此外，小型機(jī)非通用的架構(gòu)設(shè)計(jì)，也給農(nóng)行帶來了不菲的維保費(fèi)用。
“我們之所以選擇x86服務(wù)器，一方面，是因?yàn)榻陙韝86服務(wù)器的技術(shù)性能得到了大幅提升；另一方面，采用通用架構(gòu)的x86服務(wù)器，其在采購成本、擴(kuò)容成本及維護(hù)成本方面，相對于小型機(jī)的優(yōu)勢也是很明顯的”，農(nóng)行的專家說。
談到未來的發(fā)展趨勢，農(nóng)行的專家表示，開放化、標(biāo)準(zhǔn)化一直是全球IT產(chǎn)業(yè)發(fā)展的規(guī)律之一，因?yàn)樗梢詭砀叩男詢r(jià)比、更出色的擴(kuò)展性、更優(yōu)秀的兼容性和更大的投資回報(bào)率。在談到與華為的合作時(shí)，該專家表示，他期待農(nóng)行與華為合作成功，也希望華為的x86服務(wù)器能夠?yàn)榻鹑跇I(yè)的信息化建設(shè)注入新的活力。
解決方案
基于農(nóng)行與華為聯(lián)合工作組的良好運(yùn)作，華為在深入分析了農(nóng)行對大數(shù)據(jù)處理平臺的需求后，向農(nóng)行提供了基于華為RH2288 V2服務(wù)器的分布式并行計(jì)算集群進(jìn)行測試。農(nóng)行的測試結(jié)果表明，華為解決方案完全滿足農(nóng)行對海量數(shù)據(jù)進(jìn)行分布式處理的要求。
華為RH2288 V2服務(wù)器基于業(yè)界通用的x86架構(gòu)設(shè)計(jì)，相比農(nóng)行現(xiàn)有的小型機(jī)系統(tǒng)，其CPU、硬盤、內(nèi)存等配件可以很容易從市場上獲取，因而具備良好的可擴(kuò)展性和經(jīng)濟(jì)性。農(nóng)行評估后認(rèn)為，相比小型機(jī)方案，采用華為RH2288 V2可以節(jié)約40%的運(yùn)維成本，節(jié)約總體擁有成本（TCO）20%以上。
同時(shí)，分布式的計(jì)算集群架構(gòu)使得服務(wù)器節(jié)點(diǎn)可以按需配置，系統(tǒng)具備從TB級到PB級的數(shù)據(jù)處理能力，完全滿足農(nóng)行當(dāng)前與未來業(yè)務(wù)的發(fā)展需要，充分保護(hù)農(nóng)行的初期和遠(yuǎn)期投資。
最令農(nóng)行感到滿意的是，華為RH2288 V2服務(wù)器支持現(xiàn)場調(diào)整與優(yōu)化，農(nóng)行可以按照業(yè)務(wù)需求對服務(wù)器的配置進(jìn)行現(xiàn)場調(diào)優(yōu)，從而使服務(wù)器的計(jì)算性能在Hadoop大數(shù)據(jù)環(huán)境下發(fā)揮到最優(yōu)。在測試中，農(nóng)行85GB的原始數(shù)據(jù)加載（3份冗余）或者5000萬定期賬戶批量處理，華為RH2288 V2服務(wù)器計(jì)算集群能在10分鐘內(nèi)完成。而對于2億條交易詳單、600并發(fā)隨機(jī)查詢的平均響應(yīng)時(shí)間，華為解決方案的測試結(jié)果低于40ms，遠(yuǎn)遠(yuǎn)超出農(nóng)行的預(yù)期。
基于華為RH2288 V2服務(wù)器在測試過程中的優(yōu)秀表現(xiàn)，及其開放架構(gòu)帶來的良好經(jīng)濟(jì)性，2013年4月，中國農(nóng)業(yè)銀行宣布，在其正式生產(chǎn)環(huán)境的Hadoop大數(shù)據(jù)處理平臺中，將采用200臺華為RH2288 V2服務(wù)器進(jìn)行部署。
客戶收益
目前，采用開放架構(gòu)的x86服務(wù)器建設(shè)銀行的IT系統(tǒng)（尤其是開放平臺系統(tǒng)），已經(jīng)成為金融行業(yè)信息化的發(fā)展趨勢之一。
“在本次Hadoop大數(shù)據(jù)項(xiàng)目中，華為向農(nóng)行提供了良好的計(jì)算平臺，除了RH2288 V2服務(wù)器具有比較高的性價(jià)比之外，華為還能夠提供快速響應(yīng)客戶需求的研發(fā)能力、以及業(yè)界最快捷的售后服務(wù)，解除了農(nóng)行的后顧之憂，是農(nóng)行值得信賴的IT供應(yīng)商”，農(nóng)行的一位專家這樣評價(jià)道。
