第二點不容樂觀，我們認為這是對大數(shù)據(jù)的一個共享和挖掘來講 ，不太好的特點。 就是在這些行業(yè)里面，這些數(shù)據(jù)往往是具有很強的獨立性，你想讓它共享，其實存在了很多的障礙。大家可能都知道這些數(shù)據(jù)把它分享出來，綜合處理一下可能是有好處的，但是，由于種種的原因，可能有管理制度上的，也可能有這些人的動機或者說沒有這個動力去做事情的原因，數(shù)據(jù)共享的比例是非常低的。我們現(xiàn)在看到的一些數(shù)字，當然可能是低于10%，甚至有的地方數(shù)據(jù)共享率更低，而且這種現(xiàn)象不僅僅是在一些我剛才講到的偏政府一類的行業(yè)存在，甚至在我們很多的企業(yè)內(nèi)部也同樣存在，比如說財務(wù)數(shù)據(jù)和人力的數(shù)據(jù)有可能就是沒有辦法共享，也不是沒有辦法共享，或者說他現(xiàn)在壓根就沒有共享在一起，當然這里面存在種種問題。
其中有一個很重要的問題，就是因為這些數(shù)據(jù)的所有者往往是不同的，因為所有者的不同，其實你也很難把這些數(shù)據(jù)留在一起。你要解決所有者的一些顧慮，比如說放在一起了，我會不會泄密？放在一起了，會不會有一些別人不該看到的東西看到，或者篡改，它的安全性如何保證？
第三個特點是我們認為大數(shù)據(jù)不同于以前的數(shù)據(jù)分析很大的一點 ，那就是它強調(diào)的是我們在行業(yè)間，甚至于包括我們在企業(yè)場合產(chǎn)生的一些數(shù)據(jù)，綜合分析才叫大數(shù)據(jù) 。如果只是簡單的把內(nèi)部一個ERP里面，或者財務(wù)報表里面的財務(wù)數(shù)據(jù)拿出來跑一跑，這個可能在十年前、20年前很多人都能做到，根本談不上是什么大數(shù)據(jù)。大數(shù)據(jù)一定要更多的來源，跨行業(yè)、跨領(lǐng)域的數(shù)據(jù)碰撞，才能真正稱之為大數(shù)據(jù)。
最后一個就是說在這些行業(yè)，數(shù)據(jù)最終的目的 。我們從前面講行業(yè)云到后面講行業(yè)大數(shù)據(jù)，都是講數(shù)據(jù)最終一定是要為人服務(wù)的，所有的東西都要轉(zhuǎn)化成數(shù)據(jù)服務(wù)才有意義，否則的話，這些東西你即使做了分析、做了挖掘，最后還是放在你的數(shù)據(jù)庫里面，沒有把結(jié)果跟大家分享，或者說沒有為更多的人產(chǎn)生服務(wù)的話，那這個云的建設(shè)、大數(shù)據(jù)系統(tǒng)的建設(shè)可能意義就不是那么大了。
但是，這樣一個本來在內(nèi)部的數(shù)據(jù)轉(zhuǎn)化成一個服務(wù)，在這個過程中，這些數(shù)據(jù)本來不該公開的，或者說是如何防止它被外面的人篡改，我數(shù)據(jù)的可靠性、可用性怎么辦，以及在這里面的一些服務(wù)質(zhì)量問題怎么辦，這些都是在行業(yè)大數(shù)據(jù)發(fā)展過程中一些不同于我們前面泛泛的講到的，或者說它更鮮明的一些特征。
數(shù)據(jù)處理周期中所遭遇的挑戰(zhàn)
這里面它面臨哪些問題呢？首先，我們還是把大數(shù)據(jù)從一個數(shù)據(jù)的收集聚集起來開始，一直到最后，我們把它進行分析，進行決策，把它展現(xiàn)出來這樣一個過程，包括采集、存儲、分析、可視化，以及最終為決策來服務(wù)。在每一個階段，實際上現(xiàn)在還有很多的問題，我們?nèi)绻雽⒋髷?shù)據(jù)推廣到更多的領(lǐng)域，能夠讓更多的行業(yè)用戶，或者說傳統(tǒng)的一些信息化用戶用起來，那么我們必須要來解決這個問題。
挑戰(zhàn)1：數(shù)據(jù)收集/清洗/過濾
第一個，就是在采集和匯總領(lǐng)域的問題。因為我們在這一兩年里面頂著大數(shù)據(jù)的名頭去找了很多用戶，很多用戶聽說大數(shù)據(jù)很好，搞完預(yù)算以后，要搞大數(shù)據(jù)，他們也很熱心。但是，你去看一看他的系統(tǒng)，首先第一個問題，數(shù)據(jù)在哪？很多人想做東西，實際上并沒有他要做這個東西的數(shù)據(jù)，第一個問題就是數(shù)據(jù)的歸集，可能很多數(shù)據(jù)產(chǎn)生了，但是對他來講，他沒有一個有效的辦法把它歸集到系統(tǒng)里面去。當然，這個歸集可能是技術(shù)手段原因，也可能是一些管理上的原因。
第二個，就算他歸集來了一些數(shù)據(jù)，這些數(shù)據(jù)的來源也非常復(fù)雜，可能是自己產(chǎn)生的，比如說他自己去采集，用機器采集也好、用人去采集也好，也有的是從別人那拷過來的，然后你也沒有辦法去保證這些數(shù)據(jù)都是好的，或者說都很適合于來做他后期的業(yè)務(wù)。也就是說在這里面數(shù)據(jù)質(zhì)量是個很大的問題，數(shù)據(jù)格式不統(tǒng)一也是個很大的問題。
最后在一些政策或者管理制度上的限制，造成了很多數(shù)據(jù)沒辦法統(tǒng)一起來，我們后面可能會講到一個例子，是國內(nèi)一個很典型的部門，就是公安，大家都覺得它應(yīng)該是一個部門，但后來發(fā)現(xiàn)里面是N多部門，里面所有的數(shù)據(jù)在原來都是互補連通的，這個現(xiàn)象不僅僅在這樣一個行業(yè)，我們在很多行業(yè)都看到了這樣的問題，上下級之間可能不通的，平級部門之間可能也是不通的。
第一個要解決的問題就是怎么把這些東西歸集起來，解決歸集里面一些技術(shù)的手段，和我們怎么去做標準，怎么把它規(guī)范化的問題。
挑戰(zhàn)2：數(shù)據(jù)存儲和管理
第二個問題，這項數(shù)據(jù)歸集起來了，就會遇到一個問題，就是存儲和管理的問題。其實也有很多人說我有很好的采集手段，我有很多攝像頭和傳感器，但是這些東西傳回來很困難，后臺沒那么大的存儲能力，過兩天就得重新把它滾一次。在這里面，隨著數(shù)據(jù)規(guī)模的日益龐大，同時，數(shù)據(jù)類型也越來越復(fù)雜，可能有圖片、視頻，有能放到數(shù)據(jù)庫里面的，有放不到數(shù)據(jù)庫里面的，現(xiàn)在很多的那里保存了很多放到數(shù)據(jù)庫里面的東西，放不到數(shù)據(jù)庫的慢慢就被替換掉了，因為實在太大，放不下。
還有就是在統(tǒng)一存儲過程中的共享和隱私的問題，這個我們在不止一個用戶那邊都會跟我們提出一個要求。我們現(xiàn)在建了一個統(tǒng)一的大池子，以前的數(shù)據(jù)都放在我這兒，我現(xiàn)在要把數(shù)據(jù)放到他那去了，你怎么保證我放在他那的數(shù)據(jù)是安全的？你一定要給我上這個手段、那個手段，當然很多用戶聽到的都是傳統(tǒng)的手段，比如說強制訪問控制、要加密等等，但是在這里面，傳統(tǒng)安全的一些手段，應(yīng)該說這是在云計算模式產(chǎn)生之后大家一直在探討的問題，而且也是一直沒有非常好的答案的問題，也就是說我聚集起來以后，怎么防止用戶之間互相滲透，第二怎么防止后臺的管理員，這個我以前根本沒有見過的人，我要去信任他。
