錢嶺：中國移動(dòng)大云計(jì)劃介紹
2010/10/14
2010年10月12日消息，ICT中國 2010高層論壇在京隆重召開。論壇由工業(yè)和信息化部主辦，于2005年首次舉辦，已成功舉辦5屆，是國內(nèi)信息通信領(lǐng)域最具知名度和影響力的重要會(huì)議活動(dòng)。 本屆論壇匯聚業(yè)內(nèi)專家學(xué)者，將為產(chǎn)、學(xué)、研、銷四方搭建一個(gè)廣闊開放的溝通交流平臺(tái)。中國移動(dòng)通信研究院高級(jí)工程師錢嶺演講題目是中國移動(dòng)大云計(jì)劃。
錢嶺：各位領(lǐng)導(dǎo)，專家下午好，我來自中國移動(dòng)通信研究院錢嶺，今天非常高興有機(jī)會(huì)分享一下中國移動(dòng)在云計(jì)算研究結(jié)果，就是中國移動(dòng)研究院大云計(jì)劃。下午匯報(bào)分成三個(gè)部分，一個(gè)部分簡單的概述一下云計(jì)算在06、07、08乃至2010年之后它的發(fā)展情況。第二部分，著重會(huì)介紹一下中國移動(dòng)大云項(xiàng)目的開發(fā)和一些應(yīng)用情況。第三部分，會(huì)簡要介紹一下云計(jì)算目前我們認(rèn)為云計(jì)算面臨的一些挑戰(zhàn)，以及對(duì)國家層面有一些什么樣的建議。
這張片子簡單預(yù)測并且回顧云計(jì)算市場發(fā)展情況，最左邊這張圖是一個(gè)Gatner新技術(shù)曲線，可以看到云計(jì)算這個(gè)詞的出現(xiàn)，企事業(yè)是比較早的，但是08、09年我們發(fā)現(xiàn)它是一個(gè)增長趨勢。根據(jù)它的預(yù)測，今年以后的二到五年之內(nèi)會(huì)成為一個(gè)主流應(yīng)用。右邊這張圖其實(shí)是體現(xiàn)了在美國IT比較發(fā)達(dá)的國家里面，他們排名前50名網(wǎng)站，實(shí)際上是大中型網(wǎng)站，他們采用公有云產(chǎn)業(yè)增長情況。今天七八九三個(gè)月實(shí)際上它的增長出現(xiàn)了一些減少，但是依然是增長趨勢，基本月增長5%，而此前增長率在90%左右。到2012年80%財(cái)富一千強(qiáng)企業(yè)將使用云計(jì)算服務(wù)。
各國政府都投入了非常大的精力關(guān)注云計(jì)算，并且實(shí)施和推廣云計(jì)算應(yīng)用，我們看到里面最重要的一個(gè)美國政府稅收監(jiān)控網(wǎng)站是世界上第一個(gè)遷移公有云之上的政府網(wǎng)站，包括歐盟，印度，新加坡，韓國，日本，他們的基本情況除了關(guān)注以外，已經(jīng)開始采取一些行動(dòng)。
他們主要有幾個(gè)方面的一些想法，第一方面會(huì)考慮來引導(dǎo)規(guī)范化云計(jì)算，這個(gè)已經(jīng)有點(diǎn)太熱了，大家的提法非常多。另外一點(diǎn)，很多政府企業(yè)想把政務(wù)系統(tǒng)遷移到云計(jì)算上來，就以美國這個(gè)網(wǎng)站為例，一年可以節(jié)省30多萬美元，2011年會(huì)往上增加50萬美元的樣子，其實(shí)也不是很大的網(wǎng)站，但是通過遷移可以節(jié)約很多運(yùn)營管理開支。
這里面另外一個(gè)值得注意的就是新加坡，因?yàn)樗麄冇幸粋�(gè)位置的優(yōu)勢，他周圍連了很多東南亞國家，所以他們在這方面投入很大，很多運(yùn)營商也把數(shù)據(jù)中心建在新加坡，他們希望成為亞洲云計(jì)算的樞紐。
云計(jì)算標(biāo)準(zhǔn)化和開源活動(dòng)，實(shí)際上云計(jì)算領(lǐng)域里面更活躍的是開源組織，我們注意到有一些開源組織，包括Hardoop系列的，另外一個(gè)KIM做開源虛擬機(jī)系統(tǒng)，另外一個(gè)是開源虛擬機(jī)信息系統(tǒng)。這個(gè)行業(yè)重點(diǎn)組織已經(jīng)參與這方面的工作，并且有一些初步成果。像DMTF成立了相關(guān)的云計(jì)算工作組，也發(fā)表了一些跟虛擬化相關(guān)的，成立OCSI工作組，SNA成立了CDM云存儲(chǔ)規(guī)范，OGF規(guī)范了用戶接口。在云計(jì)算圖中基本上每一個(gè)關(guān)注的領(lǐng)域，或者研發(fā)領(lǐng)域都有標(biāo)準(zhǔn)化組織在參與，當(dāng)然開源組織是一定有的。
現(xiàn)在云計(jì)算方面一些巨人也好，或者傳統(tǒng)很強(qiáng)勢的公司也好，他們都在以某種方式進(jìn)入云計(jì)算這個(gè)領(lǐng)域，包括微軟，包括Google，都是從自己所擅長領(lǐng)域，微軟以操作系統(tǒng)和虛擬計(jì)劃這塊作為一個(gè)切入點(diǎn)進(jìn)入云計(jì)算領(lǐng)域。像Google GAM從云計(jì)算服務(wù)方面入手。AWS從虛擬化，從云計(jì)算存儲(chǔ)方面入手，所有大公司都是通過自己研發(fā)，以及引進(jìn)，或者是聯(lián)合或者是收購的方式來擴(kuò)充自己在云計(jì)算方面占有的一些資源和能力。他們?yōu)檫_(dá)到什么樣的目標(biāo)？他們?yōu)榱藢?shí)現(xiàn)完整的云計(jì)算系統(tǒng)站，形成企業(yè)核心競爭力。這一點(diǎn)上我們很迫切的需要一個(gè)標(biāo)準(zhǔn)化接口，或者這樣的機(jī)構(gòu)，把這些企業(yè)現(xiàn)在做的工作用一種標(biāo)準(zhǔn)方式讓所有人在當(dāng)中跨越或者遷移，但是目前不是很成功，但是已經(jīng)可以看到很多這樣的流派了。
在云計(jì)算系統(tǒng)站里面，可以簡單介紹一下，其實(shí)下面基礎(chǔ)設(shè)施，包括計(jì)算系統(tǒng)，存儲(chǔ)系統(tǒng)，和網(wǎng)絡(luò)系統(tǒng)，再往上就是一個(gè)核心軟件系統(tǒng)，這里面包括并行計(jì)算，一些任務(wù)負(fù)載均衡，再有就是應(yīng)用能力，傳統(tǒng)的中間件，數(shù)據(jù)庫，但是所有這些東西都是必須基于一種水平擴(kuò)展的能力，并不像傳統(tǒng)那樣我增加服務(wù)器的處理器的能力，而不是通過增加數(shù)量，水平化來增加計(jì)算能力增強(qiáng)，同時(shí)又保證系統(tǒng)可靠性。
上面介紹云計(jì)算這個(gè)產(chǎn)業(yè)發(fā)展情況綜述信息，接下來著重介紹中國移動(dòng)大云項(xiàng)目的一些開發(fā)和應(yīng)用情況。我們大運(yùn)技術(shù)路線非常清晰，以高性能，低成本，高可用性，高擴(kuò)展性設(shè)計(jì)理念為目標(biāo)，并不追求很昂貴軟件來解決性能擴(kuò)展性問題，相反用廉價(jià)的系統(tǒng)，搭建一些開源軟件系統(tǒng)，當(dāng)然也會(huì)基于軟件系統(tǒng)成熟之后把里面的一些技術(shù)架構(gòu)分析清楚之后，我們自己會(huì)研發(fā)里面的相關(guān)的基礎(chǔ)類的軟件。然后同時(shí)會(huì)用軟件解決系統(tǒng)高可用，可靠性問題，然后通過增加服務(wù)器間的數(shù)量，增加很水平的擴(kuò)展類似Google云計(jì)算這樣的架構(gòu)。中國移動(dòng)大云項(xiàng)目最早啟動(dòng)于與2007年3月份，這個(gè)項(xiàng)目主要目的是研究院為了打造中國移動(dòng)基礎(chǔ)設(shè)施而設(shè)立的項(xiàng)目，一方面為了研究關(guān)鍵技術(shù)，另一方面做產(chǎn)品圓形開發(fā)工作。一方面滿足中國移動(dòng)內(nèi)部使用，滿足中國移動(dòng)內(nèi)部智能系統(tǒng)對(duì)運(yùn)算高性能，低成本，可擴(kuò)展，高個(gè)靠性的計(jì)算需求和存儲(chǔ)的需求，
08年10月份研究院已經(jīng)建立250個(gè)節(jié)點(diǎn)軟件平臺(tái)，包括軟件硬件系統(tǒng)，09年8在內(nèi)部發(fā)布1.0系統(tǒng)，目前已經(jīng)有一個(gè)1024結(jié)點(diǎn)云計(jì)算平臺(tái)，今年第二屆云計(jì)算大會(huì)上發(fā)布大云2.0，希望在明年年終或者年底的時(shí)候會(huì)有一個(gè)新版本的大云產(chǎn)品。
介紹1024節(jié)點(diǎn)大規(guī)模實(shí)驗(yàn)室，目前這張圖上可以看到有很多服務(wù)器和交換機(jī)系統(tǒng)，總共擁有CPU5200多個(gè)核，10T內(nèi)存，2.8P硬盤形成大規(guī)模網(wǎng)絡(luò)系統(tǒng)。在上面布署很多研發(fā)應(yīng)用，數(shù)據(jù)挖掘應(yīng)用，BC—EC應(yīng)用，結(jié)構(gòu)化海量數(shù)據(jù)管理平臺(tái)應(yīng)用。這張片子介紹大云技術(shù)架構(gòu)。
從下往上看，一個(gè)是硬件層面的東西，然后在上面軟件系統(tǒng)我們基于開源linux，把下面計(jì)算資源虛擬化，再一個(gè)云計(jì)算平臺(tái)層，藍(lán)顏色的部分又分成兩部分，一個(gè)是能力層，一個(gè)是平臺(tái)層，能力層包括海量數(shù)據(jù)分布數(shù)據(jù)系統(tǒng)，包括結(jié)構(gòu)化數(shù)據(jù)系統(tǒng)，包括開發(fā)程序設(shè)計(jì)環(huán)境，云計(jì)算安全，還有云計(jì)算集成管理系統(tǒng)，很基礎(chǔ)性，適用所有能力應(yīng)用。再往上就是中間件和數(shù)據(jù)集，包括云計(jì)算，包括彈性計(jì)算的一個(gè)核，這里面有一個(gè)研發(fā)的產(chǎn)品線。再往上可以支撐管理信息系統(tǒng)，支撐一些互聯(lián)網(wǎng)應(yīng)用。
云計(jì)算系統(tǒng)被稱為BC—EC，根據(jù)用戶需求提供不同配置的X86虛擬服務(wù)器，根據(jù)用戶要求可以提供不同的CPU、內(nèi)存、硬盤，空間配置。支持用戶自服務(wù)，并可按用戶實(shí)際使用量計(jì)費(fèi)，提供方便快捷的系統(tǒng)部署和應(yīng)用恢復(fù)，提供強(qiáng)大的系統(tǒng)監(jiān)控功能，對(duì)系統(tǒng)里面虛擬機(jī)和硬件，以及各類硬件做一些監(jiān)控，當(dāng)然我們安全性也是必不可少，用戶申請(qǐng)一組服務(wù)組之間是相互隔離的，當(dāng)然組的力度可以從1到N，安全管理和防護(hù)。
第二個(gè)就是并行計(jì)算執(zhí)行環(huán)境，如果比較了解Google架構(gòu)的話，這就是一個(gè)很類似的系統(tǒng)，這個(gè)系統(tǒng)主要目標(biāo)用來解決海量數(shù)據(jù)存儲(chǔ)和分析，在電信行業(yè)、運(yùn)營商里面會(huì)有很大的應(yīng)用市場，當(dāng)然在互聯(lián)網(wǎng)企業(yè)也是一樣，現(xiàn)在在多數(shù)互聯(lián)網(wǎng)企業(yè)內(nèi)部做數(shù)據(jù)分析，都會(huì)做開源做數(shù)據(jù)存儲(chǔ)和分析，這個(gè)系統(tǒng)針對(duì)自己應(yīng)用的需求，以及解決了現(xiàn)在現(xiàn)存系統(tǒng)當(dāng)中的一些問題。MapReduce有比較高的性能，提供多隊(duì)列、多優(yōu)先級(jí)任務(wù)的管理。HyperDfs提供了數(shù)據(jù)的可靠性，也提高了系統(tǒng)高可用性，對(duì)磁盤故障發(fā)現(xiàn)更為迅速，也并且能夠進(jìn)行及時(shí)處理，可以在線提供更換磁盤的一種能力。這個(gè)系統(tǒng)一般不會(huì)單獨(dú)來使用，用戶可能看不到這樣一套系統(tǒng)，可以看到另外兩套系統(tǒng)。一個(gè)是Huge Table系統(tǒng)，用戶可以有一些傳統(tǒng)應(yīng)用，或者網(wǎng)關(guān)應(yīng)用可以很快移植過來。第一可靠性，通過數(shù)據(jù)沉余提供可靠性，大容量，支持PB級(jí)的數(shù)據(jù)存儲(chǔ)能力，低成本，基于PC架構(gòu)，無需專用存儲(chǔ)。高性能，TB級(jí)數(shù)據(jù)量下秒級(jí)別的索引查詢能力、快速數(shù)據(jù)加載、高速數(shù)據(jù)并行寺廟能力。我們還提供了一些語言用的接口，提供了JDBC/ODBC/SQL接口，提供鍵值訪問接口。
并行數(shù)據(jù)挖掘系統(tǒng)是最早研發(fā)并且最早得到應(yīng)用的一個(gè)系統(tǒng)，它主要的作用對(duì)大量的數(shù)據(jù)，用戶定義一些可視化操作，定義一些流程，操作這些流程運(yùn)行，在線可視化執(zhí)行這些流行，對(duì)數(shù)據(jù)復(fù)雜的處理過程都得到了簡化，是以SaaS應(yīng)用模式的海量并行數(shù)據(jù)挖掘。
另外一個(gè)系統(tǒng)對(duì)象文件存儲(chǔ)系統(tǒng)，在互聯(lián)網(wǎng)應(yīng)用當(dāng)中我們還有很多應(yīng)用場景對(duì)小文件進(jìn)行存儲(chǔ)和訪問，包括音樂基地里面MP3文件下載，或者圖片很多的內(nèi)容，這一部分內(nèi)容需要涉及一種更為有針對(duì)性的系統(tǒng)。在這個(gè)基礎(chǔ)上設(shè)計(jì)了BC—NAS系統(tǒng)，這個(gè)系統(tǒng)有幾個(gè)主要特點(diǎn)，第一高度可擴(kuò)展性，基于環(huán)的數(shù)據(jù)冗余條度策略，系統(tǒng)性能隨節(jié)點(diǎn)規(guī)模線性增長。索引、數(shù)據(jù)及狀態(tài)信息分離，便于部署及橫向擴(kuò)展。這個(gè)接口提供FTP接口，標(biāo)準(zhǔn)文件系統(tǒng)接口，客戶端訪問接口。
另外能力層方面，大云搜索引擎核，BC—EC，我們在很多業(yè)務(wù)上都存在搜索問題，不一定對(duì)網(wǎng)頁做索引，對(duì)一些文字做索引，這里面有一些通用搜索引擎核針對(duì)上述應(yīng)用，把應(yīng)用數(shù)據(jù)做一些針對(duì)性的權(quán)限管理，做一些訪問控制，用戶使用這個(gè)系統(tǒng)的時(shí)候就會(huì)使用搜索引擎一些簡單應(yīng)用�，F(xiàn)在直接通過類似輸入密碼可以查詢到所需要的信息，未來可能有很多領(lǐng)域都起到一個(gè)搜索引擎的應(yīng)用，它有類似于數(shù)據(jù)庫的一個(gè)能力。
我們發(fā)布大云1.0的時(shí)候同時(shí)建立大云開發(fā)者社區(qū)，大家有興趣可以通過上面這個(gè)連接訪問我們大云開發(fā)者社區(qū)，這個(gè)社區(qū)當(dāng)中我們會(huì)提供一些分享用戶體驗(yàn)信息，同時(shí)提供一些資料供大家使用，也提供一些互動(dòng)能力，可以提一些問題，關(guān)于大云平臺(tái)使用的問題。當(dāng)然更重要當(dāng)中會(huì)提供一些用戶的申請(qǐng)，現(xiàn)在已經(jīng)發(fā)布有一百多個(gè)ID了。
接下來我介紹一下我們在研發(fā)研究過程中會(huì)發(fā)現(xiàn)云計(jì)算面臨的一些挑戰(zhàn)，以及我們會(huì)給出一些相關(guān)的建議。目前面臨挑戰(zhàn)主要幾個(gè)方面，一個(gè)是應(yīng)用及數(shù)據(jù)安全，即便未來相信像人群都會(huì)像相信銀行一樣相信云計(jì)算平臺(tái)，要解決這個(gè)問題，怎么樣克服內(nèi)部安全性，以及內(nèi)部跨云安全性。內(nèi)部云各個(gè)部門信息也需要考慮，怎么樣保證它的安全非常重要。另外一個(gè)互操作標(biāo)準(zhǔn)化，很多強(qiáng)勢IT企業(yè)紛紛進(jìn)入云計(jì)算領(lǐng)域，形成不同技術(shù)流派，特別是云計(jì)算平臺(tái)里面，平臺(tái)以服務(wù)，平臺(tái)不一樣，接口都不一樣，用戶存續(xù)數(shù)據(jù)方式不一樣。很容易產(chǎn)生用戶被鎖定的問題，目前的話，有很多標(biāo)準(zhǔn)化機(jī)構(gòu)做這件事情，但沒有形成統(tǒng)一標(biāo)準(zhǔn)，這也是比較長期的過程。
第三個(gè)就是服務(wù)質(zhì)量保證，一旦出現(xiàn)網(wǎng)絡(luò)故障的時(shí)候會(huì)容易造成停服，怎么解決這個(gè)問題，是不是需要客戶端計(jì)算，或者采取遷移策略，結(jié)果服務(wù)質(zhì)量的問題。
另外一個(gè)挑戰(zhàn)對(duì)于企業(yè)的挑戰(zhàn)，我們實(shí)施云計(jì)算以后，會(huì)發(fā)現(xiàn)云計(jì)算里面，因?yàn)樗募軜?gòu)問題，水平擴(kuò)展，所以它對(duì)技術(shù)架構(gòu)有一些人進(jìn)行它的維護(hù)管理，也有把很多散落在各個(gè)業(yè)務(wù)系統(tǒng)當(dāng)中的應(yīng)用和數(shù)據(jù)整合在一起，這樣的話就變成一個(gè)集中計(jì)算了，集中計(jì)算可能對(duì)原來分布式或者是在各個(gè)地方分布的云計(jì)算就會(huì)產(chǎn)生一些不同的特征，可能在組織管理層面也會(huì)造成一些挑戰(zhàn)。然后傳統(tǒng)企業(yè)，IT的運(yùn)營管理也會(huì)因此而產(chǎn)生一些影響、壓力和阻力。
最后，用這張片總結(jié)一下我今天的介紹，我們對(duì)未來云計(jì)算發(fā)展有這樣三點(diǎn)建議。第一個(gè)國家需要對(duì)云計(jì)算相關(guān)企業(yè)提供政策性支持，加強(qiáng)對(duì)云計(jì)算推廣應(yīng)用，促進(jìn)產(chǎn)業(yè)鏈成熟。第二，建立國家級(jí)云計(jì)算標(biāo)準(zhǔn)化體系，實(shí)現(xiàn)云計(jì)算平臺(tái)之間的互聯(lián)互通。需要從更高層面提供，而不是行業(yè)機(jī)構(gòu)這種層面比較低一些。第三，加強(qiáng)數(shù)據(jù)安全等級(jí)保護(hù)，數(shù)據(jù)安全和用戶隱私保護(hù)方面制度制定。這方面讓用戶更加信任，比較相信云計(jì)算平臺(tái)，我今天介紹這么多，謝謝大家！
賽迪網(wǎng)