大數(shù)據(jù)時(shí)代來了有人說現(xiàn)在是個(gè)信息大爆炸的時(shí)代，其實(shí)用“爆炸”來形容當(dāng)今信息時(shí)代的特征是不確切的，“爆炸”不僅意味著多（多的容器裝不下了），還意味著無法控制和毀滅。我們當(dāng)然不能讓信息“爆炸”，而要為我們所用，化危機(jī)為財(cái)富。
信息的載體是數(shù)據(jù)，新摩爾定律表明，每18個(gè)月所產(chǎn)生的數(shù)據(jù)相當(dāng)于有史以來產(chǎn)生的數(shù)據(jù)的總和，也就是說每一年半，數(shù)據(jù)就翻番。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等成為海量數(shù)據(jù)的催化劑，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已漸漸對海量數(shù)據(jù)無能為力，如果不想讓海量暴增的數(shù)據(jù)失控，我們就需要對其進(jìn)行“治理”，治理包括管理、開發(fā)、利用，要從大數(shù)據(jù)中挖掘出有價(jià)值的東西，為人類創(chuàng)造更多的智慧，這就是所謂的“大數(shù)據(jù)技術(shù)”，其核心就是要讓大數(shù)據(jù)“慧”說話（說出有智慧的話）。
大數(shù)據(jù)技術(shù)是一個(gè)籠統(tǒng)的概念，它包括了海量數(shù)據(jù)的分布式存儲(chǔ)技術(shù)、面向海量數(shù)據(jù)查詢和分析的并行計(jì)算技術(shù)、各種海量數(shù)據(jù)的挖掘算法、行業(yè)海量數(shù)據(jù)建模、各種使得大數(shù)據(jù)價(jià)值變現(xiàn)的應(yīng)用，以及承載海量數(shù)據(jù)的硬件基礎(chǔ)設(shè)施等。大數(shù)據(jù)技術(shù)構(gòu)成了一個(gè)完整的信息生態(tài)鏈，將各行各業(yè)更緊密地聯(lián)系起來，“開放”、“融合”、“創(chuàng)新”成為大數(shù)據(jù)時(shí)代出現(xiàn)頻率最高的詞匯。
如今，大數(shù)據(jù)技術(shù)已經(jīng)在各行各業(yè)開始應(yīng)用，特別是大型互聯(lián)網(wǎng)公司、運(yùn)營商以及政府和金融等行業(yè)。相信5~10年內(nèi)大數(shù)據(jù)技術(shù)的應(yīng)用會(huì)全面鋪開，充斥到社會(huì)的每一個(gè)角落，并且成為未來IT的基礎(chǔ)架構(gòu)。因此，確切地說，我們這個(gè)時(shí)代不是信息“爆炸”的時(shí)代，而是一個(gè)“大數(shù)據(jù)時(shí)代”！
運(yùn)營商要向IT和互聯(lián)網(wǎng)轉(zhuǎn)型，金融機(jī)構(gòu)、政府組織也要向IT和互聯(lián)網(wǎng)轉(zhuǎn)型，全球最大的通信設(shè)備提供商——華為公司也在向IT和互聯(lián)網(wǎng)轉(zhuǎn)型。實(shí)際上，將來的每一個(gè)企業(yè)首先都是一個(gè)互聯(lián)網(wǎng)企業(yè)。用馬云的話說，企業(yè)在大數(shù)據(jù)時(shí)代和技術(shù)變革之前，必須要掌握對于未來的研判，重塑自己的文化基因和組織架構(gòu)，必須“有所為有所不為”，去做一個(gè)社會(huì)化的企業(yè)。我的解讀就是企業(yè)要找準(zhǔn)自己在大數(shù)據(jù)生態(tài)鏈上的位置，大數(shù)據(jù)技術(shù)必將把全社會(huì)各行業(yè)組織成一個(gè)有機(jī)的整體，任何企業(yè)都不能獨(dú)立于這個(gè)肌體之外。
FusionInsight：完全開放的大數(shù)據(jù)平臺(tái)在大數(shù)據(jù)領(lǐng)域，華為公司當(dāng)然不會(huì)袖手旁觀。為社會(huì)創(chuàng)造價(jià)值、豐富人們的溝通和生活、成就客戶是華為人的使命。從2009年開始，華為在大數(shù)據(jù)領(lǐng)域投入了大量的資金和人力進(jìn)行研發(fā)，2011年，華為大數(shù)據(jù)解決方案橫空出世，最初命名為Galax HD，2013年改名為FusionInsight Hadoop。到目前為止，F(xiàn)usionInsight已在全球拓展了100多個(gè)大數(shù)據(jù)項(xiàng)目，有40多個(gè)項(xiàng)目已經(jīng)在交付，其中10多個(gè)已經(jīng)在商用�？蛻糁饕植荚陔娦�、金融、科研、公安和政府等行業(yè)。
FusionInsight是企業(yè)級大數(shù)據(jù)存儲(chǔ)、查詢、分析的統(tǒng)一平臺(tái)，為企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，通過對各類海量數(shù)據(jù)信息實(shí)時(shí)和非實(shí)時(shí)的分析和挖掘，幫助企業(yè)從海量數(shù)據(jù)信息中獲取到真正的價(jià)值，及時(shí)洞察和決策新的機(jī)會(huì)與風(fēng)險(xiǎn)。
FusionInsight是完全開放的大數(shù)據(jù)平臺(tái)，可運(yùn)行在任意標(biāo)準(zhǔn)的x86服務(wù)器上，無需任何專用的硬件或存儲(chǔ)，并針對金融、運(yùn)營商等數(shù)據(jù)密集型行業(yè)的運(yùn)行維護(hù)、應(yīng)用開發(fā)等需求打造了高可靠、高安全、易使用的運(yùn)行維護(hù)系統(tǒng)和全量數(shù)據(jù)建模中間件，讓企業(yè)可以更快、更準(zhǔn)、更穩(wěn)地從各類繁雜無序的海量數(shù)據(jù)中發(fā)現(xiàn)價(jià)值。
Google雖然是大數(shù)據(jù)技術(shù)的鼻祖，但Apache Hadoop開源社區(qū)卻是最有影響力的開源大數(shù)據(jù)技術(shù)的孵化器，大數(shù)據(jù)要走向開放、融合，開源是必然的趨勢。華為將大數(shù)據(jù)明確為ICT融合時(shí)代公司的戰(zhàn)略方向并加大投入，在美國以及中國香港、深圳、北京、西安匯集了各路大數(shù)據(jù)專家，持續(xù)回饋并引領(lǐng)Apache Hadoop開源社區(qū)，對Apache Hadoop社區(qū)的貢獻(xiàn)在所有IT設(shè)備商中排名第一，持續(xù)推動(dòng)社區(qū)的開放與發(fā)展。
華為FusionInsight團(tuán)隊(duì)具備強(qiáng)大的本地化工程服務(wù)能力，不僅可以幫助客戶定位大數(shù)據(jù)內(nèi)核級問題，還針對行業(yè)應(yīng)用開發(fā)了數(shù)據(jù)服務(wù)和能力開放使能環(huán)境，兼容客戶原有開發(fā)和使用環(huán)境，讓大數(shù)據(jù)更易使用并產(chǎn)生價(jià)值。FusionInsightHadoop發(fā)行版緊隨開源社區(qū)的最新技術(shù)，快速集成最新組件，并在可靠性、安全性、管理性方面進(jìn)行了企業(yè)級的增強(qiáng)和持續(xù)改進(jìn)，始終保持技術(shù)領(lǐng)先。而且FusionInsight Hadoop保持了100%的開放性，決不使用私有架構(gòu)和組件。
FusionInsight Hadoop的企業(yè)級增強(qiáng)FusionInsight Hadoop的企業(yè)級增強(qiáng)主要表現(xiàn)在以下幾個(gè)方面：
- 高可靠性
FusionInsight Hadoop所有管理節(jié)點(diǎn)組件均實(shí)現(xiàn)HA；HBase集群實(shí)現(xiàn)1000公里以上的異地災(zāi)備；表級集群備份、全量、增量、日志追趕、數(shù)據(jù)恢復(fù)（對本地存儲(chǔ)的業(yè)務(wù)數(shù)據(jù)進(jìn)行完整性校驗(yàn)，在發(fā)現(xiàn)數(shù)據(jù)遭破壞或丟失時(shí)進(jìn)行自恢復(fù)）。
- 高安全性
FusionInsight Hadoop實(shí)現(xiàn)了基于用戶和角色的統(tǒng)一認(rèn)證體系，實(shí)現(xiàn)對角色進(jìn)行權(quán)限管理和審計(jì)，WEBUI服務(wù)還支持單點(diǎn)登錄認(rèn)證。對HBase的權(quán)限控制支持HBase庫、表、列族和列等不同級別。Hive還支持合法用戶之間的數(shù)據(jù)安全隔離，保障用戶數(shù)據(jù)安全；支持合法用戶之間的授權(quán)訪問，允許用戶數(shù)據(jù)交叉訪問。
FusionInsight還可以對文件系統(tǒng)進(jìn)行加密，Hive、HBase可以對表、字段加密，集群內(nèi)部用戶信息禁止明文存儲(chǔ)。加密算法插件化，可進(jìn)行擴(kuò)充，亦可自行開發(fā)，并且加解密過程業(yè)務(wù)完全不感知。
高安全性還體現(xiàn)在對操作系統(tǒng)的安全加固，通過裁剪不必要組件，工具自動(dòng)測試掃描，在業(yè)務(wù)節(jié)點(diǎn)、管理節(jié)點(diǎn)和用戶管理Portal等組件采取業(yè)界標(biāo)準(zhǔn)來實(shí)現(xiàn)操作系統(tǒng)加固，保證基礎(chǔ)設(shè)施的安全性。
- 高性能
針對數(shù)據(jù)密集型行業(yè)傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫的大量關(guān)聯(lián)表設(shè)計(jì)，創(chuàng)新地實(shí)現(xiàn)了CTBase方案。CTBase可以將多個(gè)具有類似功能或存在關(guān)聯(lián)的業(yè)務(wù)表聚簇到一個(gè)HBase大表中，可提升一些關(guān)鍵場景的多表關(guān)聯(lián)查詢性能。另外，CTBase還提供了二級索引，RowKey Schema的維護(hù)管理等關(guān)鍵能力。同時(shí)，CTBase對HBase原生態(tài)API進(jìn)行了封裝，提供更友好的二次開發(fā)界面。
FusionInsight Manager（FusionInsight運(yùn)行維護(hù)中心）支持系統(tǒng)雙機(jī)和分布式并行處理，可10分鐘完成集群安裝；全自動(dòng)化在線運(yùn)行維護(hù)、自定義Dashboard、自動(dòng)化的應(yīng)用開發(fā)助手，讓企業(yè)可以輕松地管理大數(shù)據(jù)系統(tǒng)；提供向?qū)缴墶⒒赝说慕缑娌僮�，�?dāng)升級過程異常時(shí)，支持自動(dòng)安全回退，也支持觀察期手工觸發(fā)安全回退，可以在6分鐘內(nèi)完成Hadoop集群升級。
FusionInsight Hadoop還提供了北向接口，實(shí)現(xiàn)與企業(yè)現(xiàn)有網(wǎng)管系統(tǒng)集成；當(dāng)前支持syslog接口，接口消息可通過配置適配現(xiàn)有系統(tǒng)；整個(gè)Hadoop集群采用統(tǒng)一的集中管理，未來北向接口可根據(jù)需求靈活擴(kuò)展。
- 解決方案配套能力
為讓開發(fā)者更方便地使用大數(shù)據(jù)技術(shù)，在開源Hadoop平臺(tái)基礎(chǔ)上，華為FusionInsight Hadoop圍繞數(shù)據(jù)的采集、分析和消費(fèi)，在典型場景如數(shù)據(jù)中心運(yùn)維日志分析、歷史數(shù)據(jù)查詢、實(shí)時(shí)事件處理、客戶特征畫像等形成了系列解決方案，并跟隨客戶業(yè)務(wù)的發(fā)展不斷豐富。
綻放智慧的光彩華為FusionInsight大數(shù)據(jù)平臺(tái)可以為電信、金融、政府等行業(yè)大型企事業(yè)單位量身定制企業(yè)級的大數(shù)據(jù)解決方案，本著讓數(shù)據(jù)“慧”說話的目標(biāo)，對企業(yè)數(shù)據(jù)全量建模、深度分析、深刻洞察，為企業(yè)的精準(zhǔn)營銷、實(shí)時(shí)決策、客戶維系、數(shù)據(jù)開放等各種應(yīng)用場景提供全面的技術(shù)保障。
用任正非總裁的話講，大數(shù)據(jù)時(shí)代也是大機(jī)會(huì)時(shí)代，但是華為不可以機(jī)會(huì)主義，華為人總是本著求實(shí)創(chuàng)新的精神，不惜10年磨一劍。經(jīng)過華為人的努力，F(xiàn)usionInsight必將成為大數(shù)據(jù)領(lǐng)域的一顆耀眼明珠，在茫茫的數(shù)據(jù)海洋中，綻放屬于它的智慧的光彩。
FusionInsight總體架構(gòu)圖
