大數據淺析

<導讀>科技的進步在很多的時候總會超出我們的想象,試想如果未來我們一個人擁有的電腦設備超過現在全球現在計算能力的總和,一個人產生的數據量超過現在全球數據量的總和,甚至你的寵物小狗產生的信息量都超過現在全球數據量的總和,世界會發生什么呢?那就取決于你的想象力了。

一、大數據的初步理解

似乎一夜之間,大數據(Big Data)變成一個IT行業中時髦的詞匯。

首先,大數據不是什么完完全全的新生事物,Google的搜索服務就是一個典型的大數據運用,根據客戶的需求,Google實時從全球海量的數字資產(或數字垃圾)中快速找出可能的答案,呈現給你,就是一個典型的大數據服務。只不過過去這樣規模的數據量處理和有商業價值的應用太少,在IT行業沒有形成成型的概念?,F在隨著全球數字化、網絡寬帶化、互聯網應用于各行各業,累積的數據量越來越大,越來越多企業、行業和國家發現,可以利用類似的技術更好地服務客戶、發現新商業機會、擴大新市場以及提升效率,才逐步形成大數據這個概念。

有一個有趣的故事是關于奢侈品營銷的。PRADA在紐約的旗艦店中每件衣服上都有RFID碼。每當一個顧客拿起一件PRADA進試衣間,RFID會被自動識別。同時,數據會傳至PRADA總部。每一件衣服在哪個城市哪個旗艦店什么時間被拿進試衣間停留多長時間,數據都被存儲起來加以分析。如果有一件衣服銷量很低,以往的作法是直接干掉。但如果RFID傳回的數據顯示這件衣服雖然銷量低,但進試衣間的次數多。那就能另外說明一些問題。也許這件衣服的下場就會截然不同,也許在某個細節的微小改變就會重新創造出一件非常流行的產品。

還有一個是關于中國糧食統計的故事。中國的糧食統計是一個老大難的問題。中國的統計,雖然有組織、有流程、有法律,但中央的統計人員依靠省統計人員,省靠市,市靠縣,縣靠鎮,鎮靠村,最后真正干活或上報的是基層兼職的調查人員,由于眾所周知的KPI考核導向的原因,層層加碼,幾乎沒有人相信這個調查數據,而其中國家統計局的人是不信的。在前兩年北京的一個會議上,原國家統計局總經濟師姚景源向我們講述了他們是如何做的。他們采用遙感衛星,通過圖像識別,把中國所有的耕地標識、計算出來,然后把中國的耕地網格化,對每個網格的耕地抽樣進行跟蹤、調查和統計,然后按照統計學的原理,計算(或者說估算)出中國整體的整體糧食數據。這種做法是典型采用大數據建模的方法,打破傳統流程和組織,直接獲得最終的結果。

最后是一個炒股的故事。這個故事來自于2011年好萊塢的一部高智商電影《永無止境》,講述一位落魄的作家庫珀,服用了一種可以迅速提升智力的神奇藍色藥物,然后他將這種高智商用于炒股。庫珀是怎么炒股的呢?就是他能在短時間掌握無數公司資料和背景,也就是將世界上已經存在的海量數據(包括公司財報、電視、幾十年前的報紙、互聯網、小道消息等)挖掘出來,串聯起來,甚至將Face Book、Twitter的海量社交數據挖掘得到普通大眾對某種股票的感情傾向,通過海量信息的挖掘、分析,使一切內幕都不是內幕,使一切趨勢都在眼前,結果在10天內他就贏得了200萬美元,神奇的表現讓身邊的職業投資者目瞪口呆。這部電影簡直是展現大數據魔力的教材性電影,推薦沒有看過的IT人士看一看。

從這些案例來看,大數據并不是很神奇的事情。就如同電影《永無止境》提出的問題:人類通常只使用了20%的大腦,如果剩余80%大腦潛能被激發出來,世界會變得怎樣?在企業、行業和國家的管理中,通常只有效使用了不到20%的數據(甚至更少),如果剩余80%數據的價值激發起來,世界會變得怎么樣呢?特別是隨著海量數據的新摩爾定律,數據爆發式增長,然后數據又得到更有效應用,世界會怎么樣呢?

單個的數據并沒有價值,但越來越多的數據累加,量變就會引起質變,就好像一個人的意見并不重要,但1千人、1萬人的意見就比較重要,上百萬人就足以掀起巨大的波瀾,上億人足以改變一切。

數據再多,但如果被屏蔽或者沒有被使用,也是沒有價值的。中國的航班晚點非常多,相比之下美國航班準點情況好很多。這其中,美國航空管制機構一個的好做法發揮了積極的作用,說起來也非常簡單,就是美國會公布每個航空公司、每一班航空過去一年的晚點率和平均晚點時間,這樣客戶在購買機票的時候就很自然會選擇準點率高的航班,從而通過市場手段牽引各航空公司努力提升準點率。這個簡單的方法比任何管理手段(如中國政府的宏觀調控手段)都直接和有效。這里多說一兩句,過去一個暴政國家對內的控制主要是物理上的暴力,就是強力機構權力無限大,搞國家恐怖主義;而現在一個暴政國家,主要是就靠壟斷信息、封鎖信息,讓民眾難以獲得廣泛而真實的信息,從而實現國家的控制。這個信息封鎖,就是對大數據的封鎖。

沒有整合和挖掘的數據,價值也呈現不出來?!队罒o止境》中的庫珀如果不能把海量信息圍繞某個公司的股價整合起來、串聯起來,這些信息就沒有價值。

因此,海量數據的產生、獲取、挖掘及整合,使之展現出巨大的商業價值,這就是我理解的大數據。在互聯網對一切重構的今天,這些問題都不是問題。因為,我認為大數據是互聯網深入發展的下一波應用,是互聯網發展的自然延伸。目前,可以說大數據的發展到了一個臨界點,因此才成為IT行業中熱門的詞匯之一。

二、大數據將重構很多行業的商業思維和商業模式

我想以對未來汽車行業的狂野想象來展開這個題目。

在人的一生中,汽車是一項巨大的投資。以一部30萬車、七年換車周期來算,每年折舊費4萬多(這里還不算資金成本),加上停車、保險、油、維修、保養等各項費用,每年耗費應在6萬左右。汽車產業也是一個很長產業鏈的龍頭產業,這個方面只有房地產可以媲美。

但同時,汽車產業鏈是一個低效率、變化慢的產業。汽車一直以來就是四個輪子、一個方向盤、兩排沙發(李書福語)。這么一個昂貴的東西,圍繞車產生的數據卻少的可憐,行業產業鏈之間幾無任何數據傳遞。

我們在這里狂野地想象一番,如果將汽車全面數字化,都大數據了,會產生什么結果?

有些人說,汽車數字化,不就是加個MBB模塊嗎?不,這太小兒科了。在我理想中,數字化意味著汽車可以隨時聯上互聯網,意味著汽車是一個大型計算系統加上傳統的輪子、方向盤和沙發,意味著可以數字化導航、自動駕駛,意味著你和汽車相關的每一個行動都數字化,包括每一次維修、每一次駕駛路線、每一次事故的錄像、每一天汽車關鍵部件的狀態,甚至你的每一個駕駛習慣(如每一次的剎車和加速)都記錄在案。這樣,你的車每月甚至每周都可能產生T比特的數據。

好了,我們假設這些數據都可以存儲并分享給相關的政府、行業和企業。這里不討論隱私問題帶來的影響,假設在隱私保護的前提下,數據可以自由分享。

那么,保險公司會怎么做呢?保險公司把你的所有數據拿過去建模分析,發現幾個重要的事實:一是你開車主要只是上下班,南山到坂田這條線路是非繁華路線,紅綠燈很少,這條路線過去一年統計的事故率很低;你的車況(車的使用年限、車型)好,此車型在全深圳也是車禍率較低;甚至統計你的駕駛習慣,加油平均,臨時剎車少,超車少,和周圍車保持了應有的車距,駕駛習慣好。最后結論是你車型好,車況好,駕駛習慣好,常走的線路事故率低,過去一年也沒有出過車禍,因此可以給予更大幅度的優惠折扣。這樣保險公司就完全重構了它的商業模式了。在沒有大數據支撐之前,保險公司只把車險客戶做了簡單的分類,一共分為四種客戶,第一種是連續兩年沒有出車禍的,第二種過去一年沒有出車禍,第三種過去一年出了一次車禍,第四種是過去一年出了兩次及以上車禍的,就四種類型。這種簡單粗暴的分類,就好像女人找老公,僅把男人分為沒有結過婚的、結過一次婚的、結過二次婚的、結過三次及以上婚的四種男人,就敢嫁人一樣。在大數據的支持下,保險公司可以真正以客戶為中心,把客戶分為成千上萬種,每個客戶都有個性化的解決方案,這樣保險公司經營就完全不同,對于風險低的客戶敢于大膽折扣,對于風險高的客戶報高價甚至拒絕,一般的保險公司就完全難以和這樣的保險公司競爭了。擁有大數據并使用大數據的保險公司比傳統公司將擁有壓倒性的競爭優勢,大數據將成為保險公司核心的競爭力,因為保險就是一個基于概率評估的生意,大數據對于準確評估概率毫無疑問是有利的武器,而且簡直是量身定做的武器。

在大數據的支持下,4S店的服務也完全不同了。車況信息會定期傳遞到4S店,4S店會根據情況及時提醒車主及時保養和維修,特別是對于可能危及安全的問題,在客戶同意下甚至會采取遠程干預措施,同時還可以提前備貨,車主一到4S店就可以維修而不用等待。

對于駕駛者來說,不想開車的時候,在大數據和人工智能的支持下,車輛可以自動駕駛,并且對于你經常開的線路可以自學習自優化。谷歌的自動駕駛汽車,為了對周圍環境作出預測,每秒鐘要收集差不多1GB的數據,沒有大數據的支持,自動駕駛是不可想象的;在和周圍車輛過近的時候,會及時提醒車主避讓;上下班的時候,會根據實時大數據情況,對于你經常開車的線路予以提醒,繞開擁堵點,幫你選擇合適的線路;在出現緊急狀況的時候,比如爆胎,自動駕駛系統將自動接管,提高安全性(人一輩子可以難以碰到一次爆胎,人在緊急時的反應往往是災難性的,只會更糟);到城市中心,尋找車位是一件很麻煩的事情,但未來你可以到了商場門口后,讓汽車自己去找停車位,等想要回程的時候,提前通知讓汽車自己開過來接。

車輛是城市活躍的移動物體,是擁堵的來源,也是污染來源之一。數字化的車輛、大數據應用將帶來很多的改變。紅綠燈可以自動優化,根據不同道路的擁堵情況自動進行調整,甚至在很多地方可以取消紅綠燈;城市停車場也可以大幅度優化,根據大數據的情況優化城市停車位的設計,如果配合車輛的自動駕駛功能,停車場可以革命性演變,可以設計專門為自動駕駛車輛的停車樓,地下、地上樓層可以高達幾十層,停車樓層可以更矮,只要能高于車高度即可(或者把車豎起來停),這樣將對城市規劃產生巨大的影響;在出現緊急情況,如前方塌方的時候,可以第一時間通知周圍車輛(尤其是開往塌方道路的車輛);現在的燃油稅也可以發生革命性變化,可以真正根據車輛的行駛路程,甚至根據汽車的排污量來收費,排污量少的車甚至可以搞碳交易,賣排放量賣給高油耗的車;政府還可以每年公布各類車型的實際排污量、稅款、安全性等指標,鼓勵民眾買更節能、更安全的車。

電子商務和快遞業也可能發生巨大的變化。運快遞的車都可以自動駕駛,不用趕白天的擁堵的道路,晚上半夜開,在你家門口設計自動接收箱,通過密碼開啟自動投遞進去,就好像過去報童投報一樣。

這么想象下來,我認為,汽車數字化、互聯網化、大數據應用、人工智能,將對汽車業及相關的長長的產業鏈產生難以想象的巨大變化和產業革命,具有無限的想象空間,可能完全被重構。當然,要實現我所描述的場景,估計至少50年、100年之后的事情了,估計我這輩子是看不到的。

下面一個想象是圍繞著人本身來展開的。人的數字化生存也就是這幾十年的事情。我爺爺奶奶那輩子,是在人生末年的時候有照片,算是初步在個人形象方面有了一點數字化,讓我們及后代還可以知道爺爺奶奶的光輝形象。而我們從小就有照片,這些年我們的數字化就越來越多了,身份是數字的(就是身份證),銀行存款是數字的,照片是全數字,體檢單也數字化,購物數字化(淘寶上有我的幾十個地址、幾百條購物信息、上萬次搜索信息),溝通數字化(****上有新的朋友圈生態),初步構建了一個數字化生存的狀態。而我們的下一輩或下下一輩將進入完全的數字化生存,人從一出生就有基因圖譜,到后續的每一次體檢、每一次化驗,到每一年、每一個月、每一個日子的活動,到相關親戚的軌跡,從每一個人,到每一代人,到整個族譜,到整個國家,到整個全球,這些海量數據的產生將從量變到質變,這些數據的挖掘與使用將對人類本身產生革命性的影響。這里,我們也想象一下:

比如,在你找對象的時候,碰上一位心愛的姑娘,大數據系統就像算命系統一樣,根據雙方海量數據的挖掘,告訴你和姑娘匹配指數是多少,告訴你全球類似情況的夫妻日后離婚概率是多少,低于某個匹配指數,大數據系統會慎重建議你認真考慮不要這個姑娘繼續交往下去。聽起來是不是特別像門當戶對的數字化呢?當然,你可能會說,這樣的人生多沒有意思啊,錯誤本來就是人生美麗的一部分。呵呵,我只討論科學問題,對你這種以“浪漫主義”為名,事實上是不以結婚為目的的耍流氓式的戀愛,不予以理睬。其實,我內心也承認,偶爾耍耍流氓是很好的。呵呵,開個玩笑。

又比如,在你找工作的時候,可能會有這么一天,當你面試時,HR會淡定的告訴你,對不起,經過我們的大數據分析,你歷來的網貼、微博、****總體負面情緒過多,不符合我們企業陽光樂觀積極向上的主題,出門左拐就有地鐵站,慢走。

再比如,在你過生日的那天,朋友們生日快樂祝福之后,大數據分析系統會告訴你,你的生命將進入倒計時,根據過去幾年的身體數字化大數據,根據基因圖譜,根據你親戚的相關情況統計,你有80%的概率在20年內死去,有30%概率在60歲左右因基因缺陷發生腦溢血,因此你要改善生活習慣,并重點加強監控腦溢血發生的可能性。這些事情如果都發生,會出現什么情況?第一,估計人類的生命普遍將延長10年以上,因為很多潛在的突發性惡性疾病爆發的概率大幅度降低了。第二,和上面的汽車故事一樣,保險公司也可以基于大數據重構商業模型,可以對每個人的大數據進行分析,對每個人進行針對性的保險業務設計。第三,藥廠的商業模式可能也改變了,藥廠擁有你相關的大數據,可以為你量身定做藥品,西服都能量身定做,藥品為什么不能呢?定制的西服更合身,定制的藥品肯定針對性更強、副作用更少。西服能量身定做,是因為有你三圍的數據,藥品能量身定做也是因為有你身體的數據,道理是一樣的。第四,國家的醫保政策也可能重構,國家能根據大數據系統,分析整體國民素質,分析老齡化情況,分析養老金系統的承受能力,針對性地增強某些區域的醫療資源,或者動態調整養老保險費率,或者動態調整退休年限等等。

對汽車產業和數字化人生的想象告一段落。這里,我想系統回顧一下工業文明的發展歷程,首先是物理世界的工業文明,典型是蒸汽機的發明,使汽車、輪船進入生活;然后是數字世界的工業文明,就是IT技術的使用,使PC及各種電子產品進入生活,以及企業數字化系統的建立,使沃爾瑪這樣的巨型企業產生成為可能;下一步就是物理世界和數字世界的融合,這也就是業界熱炒的“工業互聯網”、“IT 3.0”,而這里面除了數字技術在傳統行業的使用(這個事實上已經在廣泛使用)、電子商務在渠道的廣泛推行,更重要的就是大數據的產生及挖掘、使用,使企業在管理方式、市場機會挖掘、產品設計、營銷、服務、商業模式等發生巨大的變化,這種巨大的變化帶來了很多行業的革命性變局,也就是顛覆與改造。這種變化在所謂的低效率的大行業將明顯與直接。這些所謂的的低效率大行業,就是壟斷特征明顯、產業規模大、產業鏈長、歷史悠久但長時間變化少、IT應用水平低的行業,如汽車、金融、保險、醫療等。

在這個章節的最后,我想總結一下自己對大數據的看法。

第一,大數據使企業真正有能力從以自我為中心改變為以客戶為中心。企業是為客戶而生,目的是為股東獲得利潤。只有服務好客戶,才能獲得利潤。但過去,很多企業是沒有能力做到以客戶為中心的,原因就是相應客戶的信息量不大,挖掘不夠,系統也不支持,目前的保險業就是一個典型。大數據的使用能夠使對企業的經營對象從客戶的粗略歸納(就是所謂提煉歸納的“客戶群”)還原成一個個活生生的客戶,這樣經營就有針對性,對客戶的服務就更好,投資效率就更高。

第二,大數據一定程度上將顛覆了企業的傳統管理方式。現代企業的管理方式是來源于對軍隊的模仿,依賴于層層級級的組織和嚴格的流程,依賴信息的層層匯集、收斂來制定正確的決策,再通過決策在組織的傳遞與分解,以及流程的規范,確保決策得到貫徹,確保每一次經營活動都有質量保證,也確保一定程度上對風險的規避。過去這是一種有用而笨拙的方式。在大數據時代,我們可能重構企業的管理方式,通過大數據的分析與挖掘,大量的業務本身就可以自決策,不必要依靠膨大的組織和復雜的流程。大家都是基于大數據來決策,都是依賴于既定的規則來決策,是高高在上的CEO決策,還是一線人員決策,本身并無大的區別,那么企業是否還需要如此多層級的組織和復雜的流程呢?

第三,大數據另外一個重大的作用是改變了商業邏輯,提供了從其他視角直達答案的可能性?,F在人的思考或者是企業的決策,事實上都是一種邏輯的力量在主導起作用。我們去調研,去收集數據,去進行歸納總結,最后形成自己的推斷和決策意見,這是一個觀察、思考、推理、決策的商業邏輯過程。人和組織的邏輯形成是需要大量的學習、培訓與實踐,代價是非常巨大的。但是否這是唯一的道路呢?大數據給了我們其他的選擇,就是利用數據的力量,直接獲得答案。就好像我們學習數學,小時候學九九乘法表,中學學幾何,大學還學微積分,碰到一道難題,我們是利用了多年學習沉淀的經驗來努力求解,但我們還有一種方法,在網上直接搜索是不是有這樣的題目,如果有,直接抄答案就好了。很多人就會批評說,這是抄襲,是作弊。但我們為什么要學習啊?不就是為了解決問題嘛。如果我任何時候都可以搜索到答案,都可以用省力的方法找到答案,這樣的搜索難道不可以是一條光明大道嗎?換句話說,為了得到“是什么”,我們不一定要理解“為什么”。我們不是否定邏輯的力量,但是至少我們有一種新的巨大力量可以依賴,這就是未來大數據的力量。

第四,通過大數據,我們可能有全新的視角來發現新的商業機會和重構新的商業模式。我們現在看這個世界,比如分析家中食品腐敗,主要就是依賴于我們的眼睛再加上我們的經驗,但如果我們有一臺顯微鏡,我們一下就看到壞細菌,那么分析起來完全就不一樣了。大數據就是我們的顯微鏡,它可以讓我們從全新視角來發現新的商業機會,并可能重構商業模型。我們的產品設計可能不一樣了,很多事情不用猜了,客戶的習慣和偏好一目了然,我們的設計就能輕易命中客戶的心窩;我們的營銷也完全不同了,我們知道客戶喜歡什么、討厭什么,更有針對性。特別是顯微鏡再加上廣角鏡,我們就有更多全新的視野了。這個廣角鏡就是跨行業的數據流動,使我們過去看不到的東西都能看到了,比如前面所述的汽車案例,開車是開車,保險是保險,本來不相關,但當我們把開車的大數據傳遞到保險公司,那整個保險公司的商業模式就全變了,完全重構了。

最后一點,我想談的是大數據發展對IT本身技術架構的革命性影響。大數據的根基是IT系統。我們現代企業的IT系統基本上是建立在IOE(IBM小型機、Oracle數據庫、EMC存儲)+Cisco模型基礎上的,這樣的模型是Scale-UP型的架構,在解決既定模型下一定數據量的業務流程是適配的,但如果是大數據時代,很快會面臨成本、技術和商業模式的問題,大數據對IT的需求很快就會超越了現有廠商架構的技術頂點,大數據增長將帶來IT支出增長之間的線性關系,使企業難以承受。因此,目前在行業中提出的去IOE趨勢,利用Scale-out架構+開源軟件對Scale-up架構+私有軟件的取代,本質是大數據業務模型所帶來的,也就是說大數據將驅動IT產業新一輪的架構性變革。去IOE潮流中的所謂國家安全因素,完全是次要的。

所以,美國人說,大數據是資源,和大油田、大煤礦一樣,可以源源不斷挖出大財富。而且和一般資源不一樣,它是可再生的,是越挖越多、越挖越值錢的,這是反自然規律的。對企業如此,對行業、對國家也是這樣,對人同樣如此。這樣的東西誰不喜歡呢?因此,大數據這么熱門,是完全有道理的。