大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)目前正處于蓬勃發(fā)展過程中，新的技術(shù)、應(yīng)用層出不窮，越來越多的客戶已經(jīng)意識到數(shù)據(jù)作為企業(yè)核心資產(chǎn)的重要意義，也都有意愿向該領(lǐng)域的系統(tǒng)建設(shè)投資，這也吸引了大量的廠商參與到這一領(lǐng)域。但是，大數(shù)據(jù)產(chǎn)業(yè)在發(fā)展過程中，也存在著以下一些問題：

　　(1) 技術(shù)驅(qū)動而非需求驅(qū)動，導(dǎo)致系統(tǒng)對客戶實際業(yè)務(wù)的幫助不大：很多客戶只是聽說大數(shù)據(jù)能解決很多問題而上了大數(shù)據(jù)系統(tǒng)，但并不知道怎樣用大數(shù)據(jù)來幫助自己解決問題。同樣，很多廠商只是具備一定的大數(shù)據(jù)技術(shù)，并不深入了解客戶的業(yè)務(wù)，所以也很難開發(fā)出真正能幫助客戶解決問題的大數(shù)據(jù)應(yīng)用。；

　　(2) 垂直化的應(yīng)用開發(fā)方式，導(dǎo)致系統(tǒng)開發(fā)成本高周期長：目前行業(yè)內(nèi)大量的大數(shù)據(jù)應(yīng)用仍采用按項目垂直化的開發(fā)方式，項目之間缺少積累復(fù)用，每個項目幾乎都是零基礎(chǔ)的重新開發(fā)，造成系統(tǒng)開發(fā)周期長、成本高、質(zhì)量難以保證。

　　2.1 解決方案的整體思路

　　針對以上問題，結(jié)合自身在大數(shù)據(jù)技術(shù)領(lǐng)域的深厚實力和多年來積累的行業(yè)應(yīng)用軟件研發(fā)實施經(jīng)驗，大唐電信以“平臺+行業(yè)應(yīng)用”的形式，推出了公司針對政務(wù)、社區(qū)、交通、水利、運營商等行業(yè)大數(shù)據(jù)市場的整體解決方案。該方案以面向多行業(yè)應(yīng)用的大數(shù)據(jù)處理分析平臺為基礎(chǔ)，基于該平臺提供的大數(shù)據(jù)管理與分析能力，并結(jié)合各行業(yè)自身的業(yè)務(wù)需求，提供面向多個行業(yè)的大數(shù)據(jù)分析應(yīng)用，如下圖所示：

　　2.2 大數(shù)據(jù)處理分析平臺的功能

　　大數(shù)據(jù)處理分析平臺是一個能夠提供支撐大數(shù)據(jù)存儲、處理與分析、展現(xiàn)、管理能力的基礎(chǔ)平臺，其主要功能包括大數(shù)據(jù)實時采集和預(yù)處理、大數(shù)據(jù)分布式存儲、大數(shù)據(jù)高性能應(yīng)用處理、多模態(tài)(表格、文件、對象及數(shù)據(jù)流等)數(shù)據(jù)的綜合管理，高維度檢索和可視化展現(xiàn)，以及大數(shù)據(jù)行業(yè)分析模型。平臺覆蓋了大數(shù)據(jù)生命周期中的采集、存儲、計算、挖掘、管理等處理環(huán)節(jié)，其具體功能包括：

　　· 大數(shù)據(jù)采集：提供從行業(yè)應(yīng)用系統(tǒng)、數(shù)據(jù)庫、中間件等外部系統(tǒng)采集數(shù)據(jù)的服務(wù)，或者從大數(shù)據(jù)平臺中向行業(yè)應(yīng)用系統(tǒng)共享數(shù)據(jù)的服務(wù)。該功能解決了數(shù)據(jù)生產(chǎn)系統(tǒng)與大數(shù)據(jù)系統(tǒng)間的接口與解耦問題，提供大數(shù)據(jù)平臺與外部系統(tǒng)間關(guān)系數(shù)據(jù)庫型數(shù)據(jù)源、文件型數(shù)據(jù)源、事件型數(shù)據(jù)源等間的數(shù)據(jù)采集與ETL(抽取，轉(zhuǎn)換，加載)。

　　· 大數(shù)據(jù)存儲：提供分布式的數(shù)據(jù)存儲服務(wù)，包括基于分布式文件系統(tǒng)的存儲服務(wù)，以及基于分布式數(shù)據(jù)庫系統(tǒng)的存儲服務(wù)。

　　· 數(shù)據(jù)處理與分析：包括批處理、流處理在內(nèi)的分布式計算框架服務(wù)，以及基于計算框架的數(shù)據(jù)查詢服務(wù)、數(shù)據(jù)分析服務(wù)與數(shù)據(jù)挖掘服務(wù)。

　　· 數(shù)據(jù)展現(xiàn)與應(yīng)用：用于對大數(shù)據(jù)平臺系統(tǒng)內(nèi)部的數(shù)據(jù)(特別是結(jié)果數(shù)據(jù))提供結(jié)果展現(xiàn)服務(wù)，提供面向行業(yè)應(yīng)用系統(tǒng)的數(shù)據(jù)交換服務(wù)。

　　· 數(shù)據(jù)管理：提供元數(shù)據(jù)管理以及數(shù)據(jù)質(zhì)量管理功能。數(shù)據(jù)質(zhì)量管理支持數(shù)據(jù)質(zhì)量規(guī)則和數(shù)據(jù)質(zhì)量流程的定制能力

　　· 系統(tǒng)管理：面向大數(shù)據(jù)集群提供分布式的集群部署管理功能、集群監(jiān)控管理功能、集群服務(wù)協(xié)作管理功能。

　　2.3  大數(shù)據(jù)處理分析平臺的特點

　　· 靈活、多模態(tài)的大數(shù)據(jù)采集及管理。通過分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)，可靈活適應(yīng)多模態(tài)大數(shù)據(jù)的數(shù)據(jù)采集及管理。

　　· 低成本、高性能的大數(shù)據(jù)存儲。根據(jù)不同需求靈活采用HDFS、NoSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等多種存儲技術(shù)，實現(xiàn)低成本高性能的大數(shù)據(jù)分布式存儲。

　　· 滿足多層次需求的大數(shù)據(jù)分析與可視化服務(wù)。支持全面高效的大數(shù)據(jù)高維檢索、大數(shù)據(jù)分析與可視化服務(wù)，支持快速靈活的改變海量數(shù)據(jù)多維分析的維度，支持人工智能AI與機器學(xué)習(xí)ML算法，能更好地分析和挖掘數(shù)據(jù)深層面價值。

　　· 高可用、彈性可擴展的分布式系統(tǒng)部署。不需要昂貴專用存儲、網(wǎng)絡(luò)和服務(wù)器設(shè)備，支持高可用及橫向擴展的分布式系統(tǒng)架構(gòu)，硬件成本低。

　　· 良好的可管理性和用戶體驗。將引入的開源軟件作為技術(shù)組件，與平臺通過定義良好的接口進行集成，使組件松耦合、可管理、可監(jiān)控、可升級，實現(xiàn)了良好的可管理性和用戶體驗。

　　基于大數(shù)據(jù)處理分析平臺所提供的大數(shù)據(jù)管理與分析能力，大唐電信已研發(fā)了針對政務(wù)、社區(qū)、交通、水利、運營商等行業(yè)的大數(shù)據(jù)應(yīng)用，并得到了成功推廣。

　　3.1 互聯(lián)網(wǎng)及寬帶測速平臺

　　互聯(lián)網(wǎng)及寬帶測速平臺已在某部級單位完成了應(yīng)用示范。該系統(tǒng)采用分布式架構(gòu)，應(yīng)用層和數(shù)據(jù)層網(wǎng)狀分布，平臺監(jiān)測點覆蓋中國除臺灣外的所有省和運營商，包括國外主要國家和城市的7個監(jiān)測點，目前400個左右的監(jiān)測點位于系統(tǒng)的分布式末梢，北京數(shù)據(jù)中心是網(wǎng)狀核心，負責核心數(shù)據(jù)處理和業(yè)務(wù)分析展示。

　　該平臺網(wǎng)站已經(jīng)面向公眾開發(fā)，目前測速用戶人數(shù)超過5萬，平臺涉及到的主機和設(shè)備400余臺。在數(shù)據(jù)量方面，中心平臺主動采集部分數(shù)據(jù)量1.2T/月，省平臺主動采集部分數(shù)據(jù)量0.5T/月，被動數(shù)據(jù)量29G/秒。對于被動采集部分，因數(shù)據(jù)量太大，基礎(chǔ)數(shù)據(jù)不保留，保存5分鐘匯總數(shù)據(jù)3個月，數(shù)據(jù)庫中放置天粒度以上的分析數(shù)據(jù)。

　　3.2 高速公路交通大數(shù)據(jù)分析平臺

　　高速公路交通大數(shù)據(jù)分析平臺已在某省高速公路管理局得到了應(yīng)用。系統(tǒng)采集與整合高速公路交通路網(wǎng)運營的海量業(yè)務(wù)數(shù)據(jù)，分析高速公路斷面交通量、OD數(shù)據(jù)、收費、路況、養(yǎng)護、氣象、管控等業(yè)務(wù)數(shù)據(jù)，研究并建立路網(wǎng)調(diào)度決策支持模型、狀態(tài)預(yù)測類模型、分析影響類模型、輔助決策類模型，開發(fā)路網(wǎng)調(diào)度決策系統(tǒng)、道路養(yǎng)護決策系統(tǒng)、機電設(shè)備養(yǎng)護決策系統(tǒng)、公眾服務(wù)系統(tǒng)等軟件系統(tǒng)，構(gòu)建面向行業(yè)管理和公眾服務(wù)的分析應(yīng)用。

　　目前系統(tǒng)處理的數(shù)據(jù)包括微波車檢數(shù)據(jù)6億條/年、ETC數(shù)據(jù)1.5億條/年，MTC數(shù)據(jù) 2億條/年，高速路況數(shù)據(jù) 10萬條/年，路面、機電養(yǎng)護及其他業(yè)務(wù)數(shù)據(jù)1000萬條/年，視頻、圖像數(shù)據(jù)80PB/年。預(yù)計在未來2~3年內(nèi)，該軟件平臺存儲、處理的結(jié)構(gòu)化數(shù)據(jù)量約在2000~3000億條左右，非結(jié)構(gòu)化數(shù)據(jù)量約在160~240PB左右。

　　我國政府高度重視大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，發(fā)展大數(shù)據(jù)已成為我國的國家戰(zhàn)略。在這樣的大環(huán)境下，將有越來越多的行業(yè)用戶采用大數(shù)據(jù)技術(shù)作為科學(xué)決策的輔助手段。未來，大唐電信將不斷優(yōu)化大數(shù)據(jù)處理分析平臺的能力，并結(jié)合行業(yè)需求推出更多的大數(shù)據(jù)應(yīng)用方案，為我國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展做出自己的貢獻。