會上，中國信息通訊研究院為通過大數(shù)據(jù)產(chǎn)品能力評測的產(chǎn)品頒發(fā)證書，華為云FusionInsight MRS超大規(guī)模單集群以測試項全部滿分的成績順利通過評估，并成功突破單集群2萬節(jié)點的超大規(guī)模，樹立行業(yè)新標桿。
中國信通院大數(shù)據(jù)產(chǎn)品評測是國內(nèi)最權威的大數(shù)據(jù)評測體系，評測范圍涵蓋大數(shù)據(jù)產(chǎn)品的基礎能力與性能專項，歷經(jīng)六年的蓬勃發(fā)展，大數(shù)據(jù)產(chǎn)品認證已經(jīng)成為政企客戶選購選型過程中的重要參考，是業(yè)界衡量大數(shù)據(jù)產(chǎn)品質(zhì)量和能力的重要標準。
華為云FusionInsight MRS大數(shù)據(jù)為政企客戶提供一站式企業(yè)級大數(shù)據(jù)平臺，滿足客戶對全棧大數(shù)據(jù)平臺高性能、低成本、靈活易用的訴求，助力企業(yè)快速構建海量數(shù)據(jù)信息處理系統(tǒng)。
在本次評估測試中，華為云FusionInsight MRS一次性通過了27個必選用例，此外，在集群無宕機升級、雙集群互備、運維監(jiān)控模塊失效及恢復、跨數(shù)據(jù)庫關聯(lián)操作、在線水平搜索能力等六個可選用例中也實現(xiàn)了一次性通過，100%的通過率使得FusionInsight MRS在本次評估測試中交出了一份完美的答卷。
豐碩的成果離不開辛勤的勞作，在整個研發(fā)過程中，華為云FusionInsight MRS超大規(guī)模單集群的實踐也遇到了諸多挑戰(zhàn)，華為云大數(shù)據(jù)研發(fā)團隊憑借雄厚的研發(fā)實力和豐富的探索實踐經(jīng)驗，通過以下七個方面實現(xiàn)了業(yè)界首個單集群突破2萬+規(guī)模，具體如下：
01運維管理架構改造
將原來的集約主從模式調(diào)整成了可彈性伸縮的分布式模式，提升了主備模式的監(jiān)控、告警、配置、元數(shù)據(jù)存儲模塊的性能，成功解決了運維管理面臨的難題。
02Superior超級調(diào)度器
自研調(diào)度引擎，支持35w/s個Container的調(diào)度速率，資源利用率達到98%以上，超出開源Capacity的能力近一倍。
03文件對象管理優(yōu)化
利用合并單次讀寫流程中的交互次數(shù)、使用改良的數(shù)據(jù)通信壓縮算法、DataMovementTool等技術方案，在確保文件對象管理性能的同時，自動均衡不同命名空間之間的數(shù)據(jù)，大大降低了集群維護成本。
04多租戶的資源隔離能力
支持標簽存儲、多服務、多實例、DN分組等方式進行細粒度隔離，提升多租戶的資源隔離能力。
05元數(shù)據(jù)優(yōu)化
支持分布式緩存Redis方案，結合分布式鎖、緩存黑白名單機制、緩存生命周期管理等技術手段突破了Hive服務的元數(shù)據(jù)讀寫性能瓶頸，使得元數(shù)據(jù)能夠在大規(guī)模的單集群上規(guī)模商用。
06跨AZ的網(wǎng)絡帶寬消減
存儲上提供感知AZ的文件存儲策略，計算上提供感知AZ的任務調(diào)度機制，優(yōu)先在同AZ下進行存儲與計算，減少跨AZ的網(wǎng)絡帶寬消耗。
07可靠性增強
支持多種機制保障任務的可靠運行，如Hive不中斷業(yè)務的能力可確保發(fā)生異常時任務不中斷；Application Master的斷點續(xù)傳能力可記錄任務狀態(tài)，待AM恢復后繼續(xù)執(zhí)行。
得益于以上七個方面的大數(shù)據(jù)技術增強與優(yōu)化，華為云FusionInsight MRS順利通過信通院分布式批處理平臺基礎能力測試，節(jié)點規(guī)模達21000，成為業(yè)界首個單集群突破2萬節(jié)點的商用大數(shù)據(jù)產(chǎn)品。
華為云FusionInsight已是60+國家，3000+客戶的共同選擇，廣泛布局于政府、金融、安平、大企業(yè)、互聯(lián)網(wǎng)等領域。FusionInsight聯(lián)合800+合作伙伴，踐行“平臺+生態(tài)”戰(zhàn)略，釋放政企數(shù)據(jù)價值，讓數(shù)據(jù)“慧”說話，使企業(yè)更智能。
