大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)目前正處于蓬勃發(fā)展過程中，新的技術(shù)、應(yīng)用層出不窮，越來越多的客戶已經(jīng)意識(shí)到數(shù)據(jù)作為企業(yè)核心資產(chǎn)的重要意義，也都有意愿向該領(lǐng)域的系統(tǒng)建設(shè)投資，這也吸引了大量的廠商參與到這一領(lǐng)域。但是，大數(shù)據(jù)產(chǎn)業(yè)在發(fā)展過程中，也存在著以下一些問題：

　　(1) 技術(shù)驅(qū)動(dòng)而非需求驅(qū)動(dòng)，導(dǎo)致系統(tǒng)對(duì)客戶實(shí)際業(yè)務(wù)的幫助不大：很多客戶只是聽說大數(shù)據(jù)能解決很多問題而上了大數(shù)據(jù)系統(tǒng)，但并不知道怎樣用大數(shù)據(jù)來幫助自己解決問題。同樣，很多廠商只是具備一定的大數(shù)據(jù)技術(shù)，并不深入了解客戶的業(yè)務(wù)，所以也很難開發(fā)出真正能幫助客戶解決問題的大數(shù)據(jù)應(yīng)用。；

　　(2) 垂直化的應(yīng)用開發(fā)方式，導(dǎo)致系統(tǒng)開發(fā)成本高周期長(zhǎng)：目前行業(yè)內(nèi)大量的大數(shù)據(jù)應(yīng)用仍采用按項(xiàng)目垂直化的開發(fā)方式，項(xiàng)目之間缺少積累復(fù)用，每個(gè)項(xiàng)目幾乎都是零基礎(chǔ)的重新開發(fā)，造成系統(tǒng)開發(fā)周期長(zhǎng)、成本高、質(zhì)量難以保證。

　　2.1 解決方案的整體思路

　　針對(duì)以上問題，結(jié)合自身在大數(shù)據(jù)技術(shù)領(lǐng)域的深厚實(shí)力和多年來積累的行業(yè)應(yīng)用軟件研發(fā)實(shí)施經(jīng)驗(yàn)，大唐電信以“平臺(tái)+行業(yè)應(yīng)用”的形式，推出了公司針對(duì)政務(wù)、社區(qū)、交通、水利、運(yùn)營(yíng)商等行業(yè)大數(shù)據(jù)市場(chǎng)的整體解決方案。該方案以面向多行業(yè)應(yīng)用的大數(shù)據(jù)處理分析平臺(tái)為基礎(chǔ)，基于該平臺(tái)提供的大數(shù)據(jù)管理與分析能力，并結(jié)合各行業(yè)自身的業(yè)務(wù)需求，提供面向多個(gè)行業(yè)的大數(shù)據(jù)分析應(yīng)用，如下圖所示：

　　2.2 大數(shù)據(jù)處理分析平臺(tái)的功能

　　大數(shù)據(jù)處理分析平臺(tái)是一個(gè)能夠提供支撐大數(shù)據(jù)存儲(chǔ)、處理與分析、展現(xiàn)、管理能力的基礎(chǔ)平臺(tái)，其主要功能包括大數(shù)據(jù)實(shí)時(shí)采集和預(yù)處理、大數(shù)據(jù)分布式存儲(chǔ)、大數(shù)據(jù)高性能應(yīng)用處理、多模態(tài)(表格、文件、對(duì)象及數(shù)據(jù)流等)數(shù)據(jù)的綜合管理，高維度檢索和可視化展現(xiàn)，以及大數(shù)據(jù)行業(yè)分析模型。平臺(tái)覆蓋了大數(shù)據(jù)生命周期中的采集、存儲(chǔ)、計(jì)算、挖掘、管理等處理環(huán)節(jié)，其具體功能包括：

　　· 大數(shù)據(jù)采集：提供從行業(yè)應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)、中間件等外部系統(tǒng)采集數(shù)據(jù)的服務(wù)，或者從大數(shù)據(jù)平臺(tái)中向行業(yè)應(yīng)用系統(tǒng)共享數(shù)據(jù)的服務(wù)。該功能解決了數(shù)據(jù)生產(chǎn)系統(tǒng)與大數(shù)據(jù)系統(tǒng)間的接口與解耦問題，提供大數(shù)據(jù)平臺(tái)與外部系統(tǒng)間關(guān)系數(shù)據(jù)庫(kù)型數(shù)據(jù)源、文件型數(shù)據(jù)源、事件型數(shù)據(jù)源等間的數(shù)據(jù)采集與ETL(抽取，轉(zhuǎn)換，加載)。

　　· 大數(shù)據(jù)存儲(chǔ)：提供分布式的數(shù)據(jù)存儲(chǔ)服務(wù)，包括基于分布式文件系統(tǒng)的存儲(chǔ)服務(wù)，以及基于分布式數(shù)據(jù)庫(kù)系統(tǒng)的存儲(chǔ)服務(wù)。

　　· 數(shù)據(jù)處理與分析：包括批處理、流處理在內(nèi)的分布式計(jì)算框架服務(wù)，以及基于計(jì)算框架的數(shù)據(jù)查詢服務(wù)、數(shù)據(jù)分析服務(wù)與數(shù)據(jù)挖掘服務(wù)。

　　· 數(shù)據(jù)展現(xiàn)與應(yīng)用：用于對(duì)大數(shù)據(jù)平臺(tái)系統(tǒng)內(nèi)部的數(shù)據(jù)(特別是結(jié)果數(shù)據(jù))提供結(jié)果展現(xiàn)服務(wù)，提供面向行業(yè)應(yīng)用系統(tǒng)的數(shù)據(jù)交換服務(wù)。

　　· 數(shù)據(jù)管理：提供元數(shù)據(jù)管理以及數(shù)據(jù)質(zhì)量管理功能。數(shù)據(jù)質(zhì)量管理支持?jǐn)?shù)據(jù)質(zhì)量規(guī)則和數(shù)據(jù)質(zhì)量流程的定制能力

　　· 系統(tǒng)管理：面向大數(shù)據(jù)集群提供分布式的集群部署管理功能、集群監(jiān)控管理功能、集群服務(wù)協(xié)作管理功能。

　　2.3  大數(shù)據(jù)處理分析平臺(tái)的特點(diǎn)

　　· 靈活、多模態(tài)的大數(shù)據(jù)采集及管理。通過分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)，可靈活適應(yīng)多模態(tài)大數(shù)據(jù)的數(shù)據(jù)采集及管理。

　　· 低成本、高性能的大數(shù)據(jù)存儲(chǔ)。根據(jù)不同需求靈活采用HDFS、NoSQL數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)等多種存儲(chǔ)技術(shù)，實(shí)現(xiàn)低成本高性能的大數(shù)據(jù)分布式存儲(chǔ)。

　　· 滿足多層次需求的大數(shù)據(jù)分析與可視化服務(wù)。支持全面高效的大數(shù)據(jù)高維檢索、大數(shù)據(jù)分析與可視化服務(wù)，支持快速靈活的改變海量數(shù)據(jù)多維分析的維度，支持人工智能AI與機(jī)器學(xué)習(xí)ML算法，能更好地分析和挖掘數(shù)據(jù)深層面價(jià)值。

　　· 高可用、彈性可擴(kuò)展的分布式系統(tǒng)部署。不需要昂貴專用存儲(chǔ)、網(wǎng)絡(luò)和服務(wù)器設(shè)備，支持高可用及橫向擴(kuò)展的分布式系統(tǒng)架構(gòu)，硬件成本低。

　　· 良好的可管理性和用戶體驗(yàn)。將引入的開源軟件作為技術(shù)組件，與平臺(tái)通過定義良好的接口進(jìn)行集成，使組件松耦合、可管理、可監(jiān)控、可升級(jí)，實(shí)現(xiàn)了良好的可管理性和用戶體驗(yàn)。

　　基于大數(shù)據(jù)處理分析平臺(tái)所提供的大數(shù)據(jù)管理與分析能力，大唐電信已研發(fā)了針對(duì)政務(wù)、社區(qū)、交通、水利、運(yùn)營(yíng)商等行業(yè)的大數(shù)據(jù)應(yīng)用，并得到了成功推廣。

　　3.1 互聯(lián)網(wǎng)及寬帶測(cè)速平臺(tái)

　　互聯(lián)網(wǎng)及寬帶測(cè)速平臺(tái)已在某部級(jí)單位完成了應(yīng)用示范。該系統(tǒng)采用分布式架構(gòu)，應(yīng)用層和數(shù)據(jù)層網(wǎng)狀分布，平臺(tái)監(jiān)測(cè)點(diǎn)覆蓋中國(guó)除臺(tái)灣外的所有省和運(yùn)營(yíng)商，包括國(guó)外主要國(guó)家和城市的7個(gè)監(jiān)測(cè)點(diǎn)，目前400個(gè)左右的監(jiān)測(cè)點(diǎn)位于系統(tǒng)的分布式末梢，北京數(shù)據(jù)中心是網(wǎng)狀核心，負(fù)責(zé)核心數(shù)據(jù)處理和業(yè)務(wù)分析展示。

　　該平臺(tái)網(wǎng)站已經(jīng)面向公眾開發(fā)，目前測(cè)速用戶人數(shù)超過5萬(wàn)，平臺(tái)涉及到的主機(jī)和設(shè)備400余臺(tái)。在數(shù)據(jù)量方面，中心平臺(tái)主動(dòng)采集部分?jǐn)?shù)據(jù)量1.2T/月，省平臺(tái)主動(dòng)采集部分?jǐn)?shù)據(jù)量0.5T/月，被動(dòng)數(shù)據(jù)量29G/秒。對(duì)于被動(dòng)采集部分，因數(shù)據(jù)量太大，基礎(chǔ)數(shù)據(jù)不保留，保存5分鐘匯總數(shù)據(jù)3個(gè)月，數(shù)據(jù)庫(kù)中放置天粒度以上的分析數(shù)據(jù)。

　　3.2 高速公路交通大數(shù)據(jù)分析平臺(tái)

　　高速公路交通大數(shù)據(jù)分析平臺(tái)已在某省高速公路管理局得到了應(yīng)用。系統(tǒng)采集與整合高速公路交通路網(wǎng)運(yùn)營(yíng)的海量業(yè)務(wù)數(shù)據(jù)，分析高速公路斷面交通量、OD數(shù)據(jù)、收費(fèi)、路況、養(yǎng)護(hù)、氣象、管控等業(yè)務(wù)數(shù)據(jù)，研究并建立路網(wǎng)調(diào)度決策支持模型、狀態(tài)預(yù)測(cè)類模型、分析影響類模型、輔助決策類模型，開發(fā)路網(wǎng)調(diào)度決策系統(tǒng)、道路養(yǎng)護(hù)決策系統(tǒng)、機(jī)電設(shè)備養(yǎng)護(hù)決策系統(tǒng)、公眾服務(wù)系統(tǒng)等軟件系統(tǒng)，構(gòu)建面向行業(yè)管理和公眾服務(wù)的分析應(yīng)用。

　　目前系統(tǒng)處理的數(shù)據(jù)包括微波車檢數(shù)據(jù)6億條/年、ETC數(shù)據(jù)1.5億條/年，MTC數(shù)據(jù) 2億條/年，高速路況數(shù)據(jù) 10萬(wàn)條/年，路面、機(jī)電養(yǎng)護(hù)及其他業(yè)務(wù)數(shù)據(jù)1000萬(wàn)條/年，視頻、圖像數(shù)據(jù)80PB/年。預(yù)計(jì)在未來2~3年內(nèi)，該軟件平臺(tái)存儲(chǔ)、處理的結(jié)構(gòu)化數(shù)據(jù)量約在2000~3000億條左右，非結(jié)構(gòu)化數(shù)據(jù)量約在160~240PB左右。

　　我國(guó)政府高度重視大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，發(fā)展大數(shù)據(jù)已成為我國(guó)的國(guó)家戰(zhàn)略。在這樣的大環(huán)境下，將有越來越多的行業(yè)用戶采用大數(shù)據(jù)技術(shù)作為科學(xué)決策的輔助手段。未來，大唐電信將不斷優(yōu)化大數(shù)據(jù)處理分析平臺(tái)的能力，并結(jié)合行業(yè)需求推出更多的大數(shù)據(jù)應(yīng)用方案，為我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展做出自己的貢獻(xiàn)。