QingStor 對象存儲產(chǎn)品核心價值
QingStor 對象存儲的使命是解決非結(jié)構(gòu)化數(shù)據(jù)的存儲，它具有以下幾個特點(diǎn)：
- 海量。一方面是指數(shù)量的海量，另一方面是指容量的海量。
- 通用。QingStor 對象存儲是一個通用的非結(jié)構(gòu)化存儲，作為 Public Service 提供給用戶，它可以不用考慮用戶的業(yè)務(wù)場景具體是什么，會產(chǎn)生什么類型的數(shù)據(jù)。
- 平臺。一方面是從狹義的角度來理解，QingStor 對象存儲會提供給用戶 API 及 SDK。從廣義的角度來理解的話，QingStor 對象存儲會構(gòu)建很多工具在其本身及相關(guān)周邊之上，以此走向用戶的具體業(yè)務(wù)。
QingStor 對象存儲全局架構(gòu)
QingStor 對象存儲是多區(qū)域架構(gòu)，由 Global 管控 Zone （區(qū)域），Zone 可以任意多個，在每個 Zone 下面有任意多個 Bucket （存儲空間），在 Bucket 之下有 Object，Object 的類型各種各樣。整個存儲對象分為四級，從架構(gòu)上來看趨于一個扁平的結(jié)構(gòu)。從全局的角度來說，對象存儲可以作為一個容量無限擴(kuò)展的系統(tǒng)，因?yàn)榭梢杂袩o限個 Zone。
QingStor 對象存儲高度可擴(kuò)展的區(qū)域架構(gòu)
區(qū)域架構(gòu)包含以下幾個子系統(tǒng)：
- 第一個是接入子系統(tǒng)，它負(fù)責(zé)直接面對來自用戶的請求，它是無狀態(tài)的，因此可無限水平擴(kuò)展。
- 第二個是索引子系統(tǒng)，在對象存儲系統(tǒng)的設(shè)計(jì)里，索引層次非常重要，因?yàn)槠浯鎯Φ氖呛Ａ繑?shù)據(jù)，因此會產(chǎn)生海量的索引數(shù)據(jù)，比如，每一個文件都有其元數(shù)據(jù)信息，每一個文件的存儲，都會涉及到存放位置的記錄。
為此，QingStor 對象存儲做了一個類似分布式關(guān)系型數(shù)據(jù)庫的系統(tǒng)，該數(shù)據(jù)庫和真正的分布式數(shù)據(jù)庫唯一的區(qū)別是不支持分布式事務(wù)。因?yàn)樵趯ο蟠鎯Φ膱鼍跋�，沒有必要支持分布式事務(wù)，但整個索引子系統(tǒng)可以做到無限的水平擴(kuò)展。
- 第三個是存儲子系統(tǒng)。QingStor 對象存儲做了多集群調(diào)度的方案，其目的是為了讓存儲容量能夠無限地擴(kuò)展，因?yàn)榉植际较到y(tǒng)，尤其是分布式存儲中，當(dāng)一個集群增長到一定程度時，集群的運(yùn)維程度或者說可維護(hù)性都會降低。
同時，在多集群調(diào)度的架構(gòu)設(shè)計(jì)下，底層的存儲集群可以很容易做異構(gòu)，比如說，用戶有一些業(yè)務(wù)場景是存取非常頻繁，還有一些是訪問比較低頻，甚至有一些是數(shù)據(jù)接近于冷存儲，而這些場景在多集群調(diào)度的架構(gòu)設(shè)計(jì)下，很容易實(shí)現(xiàn)。
- 第四個是調(diào)度子系統(tǒng)，負(fù)責(zé)調(diào)度多個集群，其對每一個存儲集群進(jìn)行各種維度的實(shí)時地監(jiān)控，監(jiān)控數(shù)據(jù)被用來做調(diào)度的決策因子，在用戶上傳文件時，由調(diào)度子系統(tǒng)來決策它應(yīng)該存儲到哪里。
接入子系統(tǒng)、索引子系統(tǒng)、及存儲子系統(tǒng)都可以無限水平地擴(kuò)展，調(diào)度子系統(tǒng)本身無擴(kuò)展性需求。因此，通過這樣的架構(gòu)，QingStor 對象存儲的每一個區(qū)域可以達(dá)到容量無限可擴(kuò)展及文件數(shù)量無限的目的。
QingStor 對象存儲應(yīng)用場景
對象存儲作為應(yīng)用數(shù)據(jù)的持久化存儲
上圖為對象存儲作為應(yīng)用數(shù)據(jù)的持久化存儲架構(gòu)圖，包括負(fù)載均衡、應(yīng)用服務(wù)器，遇到結(jié)構(gòu)化的數(shù)據(jù)庫存儲到關(guān)系型數(shù)據(jù)庫，非結(jié)構(gòu)化的數(shù)據(jù)往對象存儲里存。該場景的結(jié)構(gòu)非常簡單，但卻非常通用，可同時應(yīng)用到一些青云之外的場景，比如在私有場景下部署了 QingStor 對象存儲，但是沒有部署 QingCloud IaaS，這種使用方式仍然適用。
企業(yè)各類數(shù)據(jù)的備份和歸檔
QingStor 對象存儲兼容 AWS S3 接口，在這種場景下很多企業(yè)級備份軟件，例如 CommVault、英方 i2dot，都可以通過 QingStor 對象存儲 AWS S3 兼容的通道，將數(shù)據(jù)備份到 QingStor 對象存儲上。
QingStor 對象存儲為了幫助用戶完成實(shí)時數(shù)據(jù)增量的備份，開源了 qsctl 這樣的工具。今年QingStor 對象存儲會進(jìn)一步通過渠道、合作伙伴來對接更多家做數(shù)據(jù)備份和歸檔的廠商。
企業(yè)網(wǎng)盤和文檔管理的存儲后端
對象存儲解決的是底層系統(tǒng)的問題，它面向的是開發(fā)者，而企業(yè)網(wǎng)盤解決了很多上層邏輯的問題。也就是說，企業(yè)網(wǎng)盤是面向人的，企業(yè)網(wǎng)盤中做文件的共享、協(xié)作、打標(biāo)簽、收藏等等這樣的功能對象存儲不會提供。對象存儲，一個空間中往往用戶可能會放十億、二十億、上百億的文件，這些文件如果人類去管控的話，幾乎不可能。
隨著 AppCenter 的發(fā)布，QingStor 對象存儲推出了一款基于開源的網(wǎng)盤系統(tǒng) NextCloud 制作而成的 APP，用戶可以借助這個 APP 很快地部署一個企業(yè)級網(wǎng)盤應(yīng)用。
對象存儲和 CDN 加速服務(wù)的整合
從對象存儲這個行業(yè)發(fā)展的趨勢來看，對象存儲的未來一定是外延的，這個外延是指向用戶去延伸。對象存儲本身是集中的系統(tǒng)，雖然它有多區(qū)域的部署模型，但是本質(zhì)上是一個集中式的存儲系統(tǒng)。而對象存儲向外延伸的第一站便是 CDN。
去年，青云QingCloud 開發(fā)了融合的 CDN，所謂的融合 CDN 是我們要將接入到系統(tǒng)中的各家第三方的 CDN 廠商統(tǒng)一地調(diào)度。融合 CDN 的好處是：
- 第一，地域覆蓋更廣。每一家 CDN 覆蓋的線路、地域、運(yùn)營商都不同，但是如果說把它們統(tǒng)一地調(diào)度起來，我們的覆蓋率會很高。
- 第二，通過智能的調(diào)度算法，提供更低價格的 CDN 服務(wù)，幫助用戶在延時上獲得更好的體驗(yàn)，此兩點(diǎn)為融合 CDN 的核心使命。
同時青云QingCloud 還在做自建的 CDN，它分為兩方面：一是公有云上會投入運(yùn)營，二是在私有云場景下也有用戶有 CDN 的需求。比如客戶在私有云的場景下用了我們的對象存儲，它的辦公室可能遍布全國，它想盡可能地節(jié)省流量。也就是說，在私有云的場景下，青云QingCloud 會把 CDN 逐漸地產(chǎn)品化，推向市場。
靜態(tài)網(wǎng)站托管
青云QingCloud 鼓勵用戶在青云之上做這種動靜分離的部署，靜態(tài)的數(shù)據(jù)放在對象存儲里，通過靜態(tài)網(wǎng)站托管的方式和外掛 CDN 的方式做加速；剩下的動態(tài)資源，可以以結(jié)構(gòu)化數(shù)據(jù)的形式，在關(guān)系型數(shù)據(jù)庫如： MongoDB、MySQL 上存儲，并且可以和大數(shù)據(jù)分析業(yè)務(wù)進(jìn)行集成。
視頻存儲和處理
該案例基于一個私有云客戶，它的原理很簡單，客戶的業(yè)務(wù)場景里有很多攝像頭，實(shí)時地進(jìn)行視頻監(jiān)控。監(jiān)控攝像頭每天產(chǎn)生的數(shù)據(jù)量非常大，如果用戶在本地存下來，然后再上傳，本地存儲的成本就會很高。所以，首先要解決的一個問題是視頻流的實(shí)時傳輸。上圖中視頻服務(wù)器，它首先是接視頻流，然后做一些相應(yīng)的處理（如轉(zhuǎn)碼），最終把數(shù)據(jù)存在 QingStor 對象存儲中。
對象存儲和大數(shù)據(jù)平臺無縫集成
QingStor 對象存儲和青云QingCloud 的大數(shù)據(jù)平臺，例如 Hadoop、Spark、Elasticsarch、Hive，全都可以進(jìn)行無縫地集成，它集成的方式也是通過 AWS S3 的兼容。同時，我們也在為大數(shù)據(jù)平臺開發(fā)插件，以將 QingStor 對象存儲的 Bucket 作為大數(shù)據(jù)平臺的原生存儲。
對象存儲數(shù)據(jù)遷移方案
數(shù)據(jù)遷移方案其實(shí)也是很多用戶關(guān)心的一個問題，針對存儲在其他對象存儲平臺上和存在自己的數(shù)據(jù)中心里面的數(shù)據(jù)，QingStor 對象存儲提供了以下兩種遷移方式：
- 一是被動遷移，在 QingStor 對象存儲上創(chuàng)建了一個 Bucket，可以給這個 Bucket 設(shè)置一個屬性，指向一個外部的源站。當(dāng)訪問 QingStor 對象存儲 Bucket 里的數(shù)據(jù)時，如果它不存在，就會源站去拉取并存儲到 QingStor 對象存儲 Bucket 中，該功能稱作“外部鏡像”。
- 二是主動遷移，以命令行工具 qscamel 完成，qscamel 可主動地將數(shù)據(jù)從指定的 URL 拉取到 QingStor 對象存儲的 Bucket 中。被動遷移和主動遷移可配合使用，以對源站數(shù)據(jù)完成全部遷移。
對象存儲作為輿情系統(tǒng)的海量數(shù)據(jù)保存場所
該案例是 QingStor 對象存儲作為輿情系統(tǒng)的海量數(shù)據(jù)存儲的實(shí)際應(yīng)用，首先通過爬蟲爬取網(wǎng)頁，將關(guān)系型的數(shù)據(jù)存在 QingCloud 的 RDB 里，將非結(jié)構(gòu)化的數(shù)據(jù)存在 QingStor 對象存儲里，同時用 Spark 對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。分析完產(chǎn)生的數(shù)據(jù)可以回填，如果是結(jié)構(gòu)化的數(shù)據(jù)，繼續(xù)回填到青云的結(jié)構(gòu)化數(shù)據(jù)服務(wù)里，產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，回填至 QingStor 對象存儲。最終，在展示層通過 CDN 加速做分發(fā)。
SDK
QingStor 對象存儲覆蓋了七種語言的 SDK（注：截至目前，QingStor 對象存儲新增 .Net SDK、Scala SDK）
QingStor 對象存儲產(chǎn)品體系
1、點(diǎn)播/直播
視頻、短視頻作為人們溝通的新型媒介，它會很長一段時間持續(xù)地存在，整個直播行業(yè)最終會趨于理性化。
2、Event Bus
舉例來講，假設(shè)我是一個用戶，上傳一個圖片到對象 Bucket 中。我想完成一個需求是，凡是以 .JPG 為后綴的文件均打一個水印，這個需求看起來簡單，其實(shí)會涉及到規(guī)則的匹配、事件的觸發(fā)、事件入隊(duì)列、事件訂閱、時間處理等環(huán)節(jié)。QingStor 對象存儲支持官方的數(shù)據(jù)服務(wù) （音視頻的處理、圖形圖像的處理）、第三方的數(shù)據(jù)處理、及用戶自定義的數(shù)據(jù)處理。
其中用戶自定義的數(shù)據(jù)處理存在一個特征，和操作系統(tǒng)里的進(jìn)程類似，進(jìn)程可分為兩類：一類是長時間運(yùn)行的進(jìn)程，另一類是生命周期比較短的進(jìn)程。用戶自定義數(shù)據(jù)處理中的特征生命周期就比較短，因此需要一個彈性的運(yùn)行時環(huán)境。
3、大數(shù)據(jù)
大數(shù)據(jù)分為兩個階段：
- 第一個階段通過 AWS S3 的方式完成第一步的集成；
- 第二步把對象存儲做成大數(shù)據(jù)平臺的 NativeStorage。
4、Open Source
QingStor 對象存儲產(chǎn)品從去年開始為一些開源項(xiàng)目或者工具添加我們的插件，這樣做的目的有兩個：
- 一是推行對象存儲的接口，這個接口是一個廣義上的說法，包括我們 API、SDK；
- 二是 QingStor 對象存儲產(chǎn)品會在 Open Source 領(lǐng)域持續(xù)不斷地構(gòu)建生態(tài)。
5、Portal
Portal 的產(chǎn)品定位是幫助用戶做對象存儲的日志系統(tǒng)、監(jiān)控系統(tǒng)、用戶管理系統(tǒng)、對象存儲里的常用監(jiān)控指標(biāo)（Object 信息等）、告警系統(tǒng)，把這些系統(tǒng)集成進(jìn)來，以圖形化的方式交付給用戶，尤其是私有云用戶，會非常關(guān)心。
6、存儲網(wǎng)關(guān)
存儲網(wǎng)關(guān)的一個非常重要的產(chǎn)品使命是存儲分層，用戶看到的是一個本地 NAS 設(shè)備，但較冷的數(shù)據(jù)會被異步地往遠(yuǎn)端的 QingStor 對象存儲里備份，近而達(dá)到冷熱數(shù)據(jù)分層的目的。也因此，存儲網(wǎng)關(guān)在讓用戶在幾乎無性能影響感知的情況下，將基于文件系統(tǒng)接口的應(yīng)用所產(chǎn)生的數(shù)據(jù)源源不斷的存儲到 QingStor 對象存儲中來。
獲取更多對象存儲的應(yīng)用實(shí)例、解決企業(yè)中數(shù)據(jù)同步的問題、探尋對象存儲如何與大數(shù)據(jù)分析業(yè)務(wù)無縫集成、和 QingStor 對象存儲研發(fā)工程師直接交流。
這一切，盡在 QingCloud Insight 2017
QingCloud Insight 2017 云計(jì)算峰會將于 2017 年 7 月 28 日 - 29 日在北京國際飯店會議中心盛大舉行。屆時，青云QingCloud 將發(fā)布一系列重要產(chǎn)品和功能，承接企業(yè)核心生產(chǎn)系統(tǒng)，并攜手人工智能、IoT 及區(qū)塊鏈領(lǐng)域的前沿技術(shù)所有者與領(lǐng)先的應(yīng)用提供商共同發(fā)布「云+ 應(yīng)用」的聯(lián)合解決方案，重新詮釋「云之基石」的全新定義，助您的業(yè)務(wù)加速進(jìn)入智能與數(shù)據(jù)時代。
QingCloud Insight 2017 云計(jì)算峰會將于 2017 年 7 月 28 日 - 29 日在北京國際飯店會議中心盛大舉行。屆時，青云QingCloud 將發(fā)布一系列重要產(chǎn)品和功能，承接企業(yè)核心生產(chǎn)系統(tǒng)，并攜手人工智能、IoT 及區(qū)塊鏈領(lǐng)域的前沿技術(shù)所有者與領(lǐng)先的應(yīng)用提供商共同發(fā)布「云+ 應(yīng)用」的聯(lián)合解決方案，重新詮釋「云之基石」的全新定義，助您的業(yè)務(wù)加速進(jìn)入智能與數(shù)據(jù)時代。
7 月 28 - 29 日，讓我們相約北京國際飯店 - 建國國際會議中心 ，點(diǎn)擊“閱讀原文”立即報名，一起洞見未來！
