一、擁抱新變化，構(gòu)建新平臺(tái)
陶濤表示，隨著數(shù)字經(jīng)濟(jì)的發(fā)展，全球數(shù)據(jù)量已經(jīng)進(jìn)入YB時(shí)代(1YB，即1千萬(wàn)億GB，約為4萬(wàn)億臺(tái)256GB手機(jī)的存儲(chǔ)容量)。在數(shù)據(jù)規(guī)模的爆發(fā)式增長(zhǎng)下，中國(guó)移動(dòng)的數(shù)據(jù)形態(tài)呈現(xiàn)出“多模態(tài)”特點(diǎn)，即各類數(shù)據(jù)廣泛應(yīng)用于政府、企業(yè)，并逐步發(fā)展為全局、跨域、規(guī)�；瘧�(yīng)用。
同時(shí)，隨著數(shù)據(jù)量的發(fā)展和數(shù)據(jù)融合的逐步加深，傳統(tǒng)的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)技術(shù)逐漸顯露出“瓶頸”。在數(shù)據(jù)分散、重復(fù)存儲(chǔ)、難于管理等多重困難挑戰(zhàn)下，中國(guó)移動(dòng)緊緊圍繞YB時(shí)代生態(tài)、高效處理海量非結(jié)構(gòu)化數(shù)據(jù)、全面提升數(shù)據(jù)韌性等數(shù)據(jù)治理演進(jìn)方向，打造湖倉(cāng)一體新型開(kāi)放式架構(gòu)。這既是中國(guó)移動(dòng)直面數(shù)據(jù)孤島挑戰(zhàn)的態(tài)度，也可以看作是協(xié)同各界力量對(duì)建設(shè)未來(lái)新型大數(shù)據(jù)平臺(tái)的嘗試。
湖倉(cāng)一體架構(gòu)充分結(jié)合了數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)，在低成本的數(shù)據(jù)湖存儲(chǔ)架構(gòu)之上，繼承了數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理和管理功能，形成了一個(gè)完整且高效的數(shù)據(jù)處理體系，實(shí)現(xiàn)一份數(shù)據(jù)和一套任務(wù)在湖、倉(cāng)之上的無(wú)縫調(diào)度和管理。
二、YB時(shí)代，從“存”到“倉(cāng)”的蝶變
陶濤詳細(xì)介紹了湖倉(cāng)一體技術(shù)架構(gòu)的兩個(gè)關(guān)鍵，即存算分離與湖倉(cāng)融合。
存算分離，即存儲(chǔ)和計(jì)算使用單獨(dú)的集群，按需分別擴(kuò)展存儲(chǔ)或計(jì)算資源，保證整體系統(tǒng)能夠支持更多用戶并發(fā)和更大數(shù)據(jù)量。
湖倉(cāng)融合，形成了邏輯統(tǒng)一的一體化數(shù)據(jù)服務(wù)，開(kāi)發(fā)者只需要提交標(biāo)準(zhǔn)SQL(數(shù)據(jù)庫(kù)語(yǔ)言)，即可計(jì)算出想要的結(jié)果。
湖倉(cāng)一體作為一種新型開(kāi)放式架構(gòu)，能夠充分結(jié)合數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)，在數(shù)據(jù)湖低成本的存儲(chǔ)架構(gòu)之上，繼承數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理和管理功能，存儲(chǔ)、轉(zhuǎn)換、集成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，將不同種類數(shù)據(jù)融合在一起，并從中提取出有用價(jià)值。
陶濤認(rèn)為，“綠色、集約、智能”是湖倉(cāng)一體技術(shù)架構(gòu)上的核心優(yōu)勢(shì)。面對(duì)新的應(yīng)用需求，一方面湖倉(cāng)一體產(chǎn)品可從用戶的核心訴求出發(fā)更好地支撐數(shù)據(jù)存儲(chǔ)與分析;另一方面，湖倉(cāng)一體架構(gòu)可支持企業(yè)優(yōu)化自身底層數(shù)據(jù)治理架構(gòu)，從而幫助企業(yè)提升“人效”和“能效”，更精準(zhǔn)地抓住商業(yè)機(jī)會(huì)，創(chuàng)造發(fā)展優(yōu)勢(shì)。湖倉(cāng)一體技術(shù)所具備的高效的數(shù)據(jù)處理優(yōu)勢(shì)以及經(jīng)濟(jì)、節(jié)能優(yōu)勢(shì)，使之在實(shí)時(shí)數(shù)倉(cāng)、支撐云原生的融合數(shù)據(jù)底座、降本增效等場(chǎng)景中具有廣泛的應(yīng)用前景。
基于湖倉(cāng)一體的架構(gòu)規(guī)劃，中國(guó)移動(dòng)打造了分布式協(xié)同計(jì)算平臺(tái)。集群分布在全國(guó)九大區(qū)域中心，有機(jī)融合了數(shù)據(jù)湖(Hadoop)和數(shù)據(jù)倉(cāng)庫(kù)(OLAP)能力，實(shí)現(xiàn)物理分散、邏輯統(tǒng)一的一體化數(shù)據(jù)服務(wù)。
湖倉(cāng)一體技術(shù)架構(gòu)為大數(shù)據(jù)產(chǎn)業(yè)提供了未來(lái)路徑和方法。陶濤強(qiáng)調(diào)，對(duì)于不同的企業(yè)來(lái)說(shuō)，數(shù)據(jù)情況、業(yè)務(wù)需求各不相同，但對(duì)于統(tǒng)一數(shù)據(jù)存儲(chǔ)、統(tǒng)一數(shù)據(jù)計(jì)算、統(tǒng)一數(shù)據(jù)管理，實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)應(yīng)用效能最大化的訴求是一致的。在聯(lián)合產(chǎn)業(yè)合作伙伴發(fā)布技術(shù)標(biāo)準(zhǔn)、技術(shù)白皮書之后，陶濤代表中國(guó)移動(dòng)呼吁產(chǎn)業(yè)合作伙伴共迎變革，共同構(gòu)建湖倉(cāng)一體創(chuàng)新生態(tài)，推進(jìn)大數(shù)據(jù)下一代技術(shù)架構(gòu)廣泛應(yīng)用。
