SparkMR on QingCloud 集成了 Spark 與 Hadoop MapReduce 雙計算引擎，提供統(tǒng)一的 HDFS 數(shù)據(jù)存儲引擎及 YARN 調(diào)度系統(tǒng)，為用戶提供靈活、高效、可多模式切換的全新云端大數(shù)據(jù)處理平臺。
大數(shù)據(jù)時代，數(shù)據(jù)資源是企業(yè)的無形資產(chǎn)，也是核心競爭力之一。如何低成本、高效率地進行數(shù)據(jù)統(tǒng)一管理和分析，獲得商業(yè)決策支持成為擺在企業(yè)面前的一道難題。大數(shù)據(jù)平臺正是為了企業(yè)的這種需求應運而生并持續(xù)發(fā)展創(chuàng)新。
青云QingCloud 于 2015 年 8 月推出了基于 Spark 的大數(shù)據(jù)集群服務，同年 12 月，推出 Hadoop 集群服務作為大數(shù)據(jù)基礎(chǔ)平臺的有力補充，以此來滿足企業(yè)在大數(shù)據(jù)領(lǐng)域的不同需求。
但由于 Spark 與 Hadoop 作為兩個獨立的服務，用戶同時使用這兩種處理引擎時，需要部署兩套 HDFS，相同的數(shù)據(jù)需要加載并存放兩份，無論是成本還是效率都不是最好的選擇。
同時，從數(shù)據(jù)統(tǒng)一管理角度出發(fā)，青云QingCloud 推出 SparkMR on QingCloud，通過 QingCloud AppCenter 以云應用方式交付用戶使用，對原有大數(shù)據(jù)平臺的 Spark 與 Hadoop 服務進行了全方位的升級與整合。（SparkMR 支持 Apache Hadoop 2.7.3 與 Apache Spark 2.2.0。）
Spark 和 Hadoop 兩者結(jié)合后，除了可以顯著降低成本之外，相對原大數(shù)據(jù)平臺還提供了更豐富、靈活的可選配置，用戶可以分角色定制節(jié)點配置（CPU 2~16 核可選，內(nèi)存 2~64 GB 可選）。
總的來說，SparkMR on QingCloud 作為支撐全新雙引擎大數(shù)據(jù)平臺的重要組件，具有多重亮點：
靈活的計算模式
SparkMR 在底層提供統(tǒng)一的 HDFS 作為數(shù)據(jù)存儲引擎，在上層提供 Spark 及與 MapReduce 兩種計算引擎，并提供 YARN 作為調(diào)度系統(tǒng)。用戶可以輕松實現(xiàn)三種不同的計算模式，即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之間的切換。
強大的計算能力
SparkMR 為了方便用戶開發(fā) Spark 應用，除了支持 Java 和 Scala 開發(fā)之外， 還提供了 Python 與 R 兩種語言的運行環(huán)境。其中為 Python 用戶提供了 Anaconda 發(fā)行版的 Python 2 和 Python 3，并支持在這兩種 Python 版本間進行切換。同時，分別為這兩個 Python 版本預置了多個 Anaconda 發(fā)行版的數(shù)據(jù)科學包，為數(shù)據(jù)科學和機器學習/深度學習等 AI 開發(fā)場景，提供了強大的計算能力支撐。
便捷的集成能力
SparkMR 支持指定依賴服務的功能，即通過 AppCenter 2.0 框架內(nèi)原生的應用感知機制，實現(xiàn)與其他大數(shù)據(jù)分析組件之間自動化的無縫集成。
SparkMR 與 QingStor? 對象存儲平臺也進行了預置集成，用戶可以通過簡單的配置即可開啟對 QingStor? 對象存儲的支持，以應對海量大規(guī)模數(shù)據(jù)的存儲問題。
良好的調(diào)度策略
SparkMR 提供 Spark 與 YARN 的自定義調(diào)度器的功能，用戶可以根據(jù)自己實際的需求，自定義集群內(nèi)資源調(diào)度策略，賦予用戶在多租戶使用場景下更為精細化的管理能力。
簡易的服務定制
SparkMR 通過控制臺提供近 60 個配置參數(shù)，用戶通過控制臺的 UI 操作即可完成集群部署及服務的個性化定制， 比如用戶可以通過 UI 即可完成設(shè)置 Hadoop 代理用戶的功能。
配置參數(shù)頁面
SparkMR 的 Client（客戶端）節(jié)點也實現(xiàn)了完全的自動化配置，用戶無需再單獨創(chuàng)建并手動配置 BigData Client 或者 Spark Client。這意味著用戶在控制臺完成配置及服務定制后，在部署完成時，已經(jīng)可以開始執(zhí)行計算任務，真正實現(xiàn)了一鍵部署、即刻使用。
完善的服務監(jiān)控
節(jié)點監(jiān)控信息
SparkMR 提供了完善的服務級別分角色的監(jiān)控能力，用戶不僅可以看到常規(guī)資源層監(jiān)控，還可以通過可視化的方式清晰了解整體服務的運行情況。同時基于服務監(jiān)控，還提供了監(jiān)控告警、健康檢查和服務自動恢復等功能。
未來，SparkMR 應用將逐步替代現(xiàn)有的 Spark 與 Hadoop 服務，為用戶提供功能更為強大、使用更加便捷的大數(shù)據(jù)基礎(chǔ)組件服務。
掃描下方二維碼，獲取更多 SparkMR 的使用說明
同期上線大數(shù)據(jù)服務
https://appcenter.qingcloud.com/apps/app-3k61fkmg
HBase 是一個開源的、分布式的、數(shù)據(jù)多版本的，列式存儲的 NoSQL 數(shù)據(jù)庫。依托 Hadoop 的分布式文件系統(tǒng) HDFS 作為底層存儲， 能夠為數(shù)十億行數(shù)百萬列的海量數(shù)據(jù)表提供隨機、實時的讀寫訪問。
HBase on QingCloud 提供原生 Apache HBase 1.2.6 發(fā)行版，HDFS 使用原生 Apache Hadoop 2.7.3 發(fā)行版。提供的服務包含：HBase 數(shù)據(jù)庫服務、HDFS 分布式文件系統(tǒng)、Phoenix 查詢引擎、HBase Restful 服務、HBase Thrift 服務，壓縮格式方面支持 GZIP、BZIP2、LZO、SNAPPY。
https://appcenter.qingcloud.com/apps/app-o1rl71en
MongoDB 是一個可擴展的高性能，高可用，開源的文檔型數(shù)據(jù)庫，是當前 NoSQL 數(shù)據(jù)庫產(chǎn)品中最熱門的一種。它在許多場景下用于替代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或鍵值對存儲方式，也可以使用它的 MapReduce 功能進行數(shù)據(jù)分析。MongoDB 原生支持副本集和分片，可以在高可用性的同時儲存海量數(shù)據(jù)。得益于其無模式 （Schema-free） 的特性，開發(fā)人員能夠快速的迭代式開發(fā)，靈活的應對業(yè)務變化。
MongoDB on QingCloud 提供原生 MongoDB Replication 云服務，提供冗余并增加了數(shù)據(jù)的高可用性。
