本書是介紹大數據及其應用的著作，全書分為三篇共11章。上篇（1～2章）描述了大數據帶來的沖擊和它引爆的思維革命、社會變革，以及數據權在政治、經濟、軍事上的重要意義。中篇（3～6章），介紹了大數據的數理哲學原理和認識論原理，大數據在科學認識中的作用，以及大數據分析的社會意義。下篇（7～11章），是與大數據研究相關的一些應用成果，包括主動智能搜索、數據挖掘與創新、企業信譽與市場滿意度調查、中國市場經濟信息評估系統和智慧城市的規劃與評估。

序：要數據紅利，還是數據鴻溝
姜奇平
（中國社科院信息化研究中心秘書長、《互聯網周刊》主編）


大數據給中國發展帶來新的挑戰與機遇，正當我們在翹首期望、焦慮和憧憬的時候，李德偉、李安渝、徐立、王海平合著的《大數據改變世界》問世了，令人豁然開朗！
凡世人皆有畏懼，俗話說：男怕選錯行，女怕嫁錯郎。國家也有一怕，怕算錯賬。中國未來發展的紅利，就是一筆巨大的賬。人口紅利、資源紅利，不過是來自第一次浪潮的賬上紅利；改革紅利，則是屬于第二次浪潮；逝者如斯夫，俱往矣！更重要的是第三筆賬，這就是信息化帶來的數字紅利。
《大數據改變世界》為中國算的，正是第三筆賬。算對了賬，大數據改變世界對中國的影響將是“正能量”，數據紅利；應了李德偉先生的預言：“信息化是上帝給中國崛起準備的禮物”。但算錯賬的危險并非沒有，近代中國在世界歷史進程中落伍的能量就是負的；從大數據改變世界而言，就是由于存在著巨大的數據鴻溝，中國將在更高水平的現代化競爭中，被打回1840年的原點。
大數據是當代現代化的最新裝備
奧巴馬政府2012年3月29日發布了“大數據研究和發展計劃（Big data research and development initiative）”。這不僅是一個推動美國繼續在高技術領域領先世界的戰略計劃，而且是一個推動美國社會經濟進一步發展的宏遠藍圖。在自由主義經濟的美國，政府頂層毫不猶豫地挺身而出，直接推動美國駕馭大數據浪潮，向更高水平的現代化進軍！
1980年，托夫勒在《第三次浪潮》中高瞻遠矚地預告：“如果說IBM的主機拉開了信息化革命的大幕，那么‘大數據’則是第三次浪潮的華彩樂章”。現在，大數據的“英雄交響曲”已經奏響，新一代的先進生產力和先進生產方式正如東方噴薄而出的太陽冉冉升起！
在世界歷史的賽場上，新的競賽已經不依人們的意志而開始，“落后就要挨打”的悲劇再次在中東、北非上演，曾幾何時，那些不可一世的梟雄酋首，薩達姆、穆巴拉克、卡扎菲，一個一個，相繼倒臺，美國的無人機就像電子游戲機一樣，定點摧毀了那些用傳統的油彩裝飾起來的偶像。
對于處在第二次浪潮與第三次浪潮之間的大國中國而言，大數據發展既有催人向上的力量，也包含鞭笞懈怠的警示：在歷史的關鍵時刻咬咬牙，迎著第三次浪潮而上，將是東方日出，大國崛起；一松懈怠惰，就不進則退，滑到第二次浪潮之下，與美國的代差，將會迅速達到比GDP占世界第一時的清王朝與英國的代差還大。毋庸置疑，美國鼎力發展大數據，其最大的歷史意義，就是讓第三次浪潮把第一次浪潮、第二次浪潮的號角聲淹沒在歷史的沙灘上。
實物的積累、貨幣的積累，曾經成為過去時代國力的標志。而在信息時代，數據的積累、加工和利用能力將成為綜合國力的新徽章。對于一個國家來說，發展方式轉變只有跟上生產方式轉變的時代步伐，才能保證在更高水平的現代化競爭中不落伍、不挨打。
抓住大數據的大機遇，中國將在現代化的制高點上，而不僅是GDP的量的積累上，提高信息時代的國際競爭力。《大數據改變世界》給我們的第一個啟發是：當代中國的決策水平，一定要超越歷代王朝的決策水平。
大數據是新型現代化的直接動力
中國新四化建設正處在從“工業化不斷加快”到“工業化基本實現”的歷史轉折點上，全面提高信息化水平，需要大數據這樣的先進生產力來引領。
與發達國家不同，中國未來不可避免地要同時完成發展工業時代的生產力與信息時代生產力的雙重任務。認識大數據為代表的先進生產力和先進生產方式具有特別重大的意義。
上個世紀50年代，中國曾面對同樣的形勢，要同時發展農業時代和工業時代兩種生產力，那時提出“工業為主導、農業為基礎”的正確方針，促進了社會生產力的跨越式發展。歷史經驗具有啟示借鑒意義。
中國的和平發展不可能建立在低水平社會生產力體系之上，我們必須清醒地認識到，發展以大數據為代表的信息生產力的緊迫形勢，抓緊從頂層建立大數據的國家戰略，使我國社會生產力狀況適應世界各國叢林競爭所要求的新的現代化水平，并在此基礎上對社會生產關系及其相聯系的經濟運行機制進行改革。堅持信息化帶動工業化，工業化促進信息化，實現高水平現代化，才能充分保證中國下一代的國際競爭力。
60年前中國農業基礎還很薄弱時，中國就毅然提出了以工業為主導的方針，如今工業化已接近完成，決不能讓以信息化為主導的舉措步履維艱！《大數據改變世界》給我們的第二個啟發是：當代中國的決策水平，一定不能低于50年代的決策水平。
大數據是推動新四化轉型的必然選擇
《大數據改變世界》指出，“大數據將改變人類生活生產方式”。這個判斷非常重要。我國關于發展方式轉變提了多年，但轉變起來如此艱難，其深層次原因在于，生產方式沒有成為翹動轉變的杠桿。而當傳統生產方式與舊時代還在依依不舍的時候，新的發展方式就不可能昂首闊步地登堂入室。
中國未來發展需要實現新型工業化、信息化、城鎮化和農業現代化這新四化，只有抓住生產方式轉變這一關鍵，才能解決發展方式轉變的深層次矛盾。信息化不等于信息化生產方式。信息化生產方式是分布式的，如果我們用集中模式搞信息化，就等于在用工業化生產方式從事信息化，搞出的就會是表面文章，就像一個穿著華麗時裝的小腳老太太，一個怪胎。
大數據將改變人類生活生產方式，可以為新四化提供轉變發展方式的新動力，對新四化帶來意想不到的增量：
第一，大數據可以強力啟動內需。我們用舊的方式啟動內需，效果平平。但生產方式一轉，就會出現轉機。2012年阿里巴巴電子商務交易額全年預計達到1.25萬億元，其中三分之一是新啟動的內需。預計到2018年，這一數字會達到7萬億元，相當于每天一個“雙十一”網購的191億元。大數據可以深入發掘消費者需求，電子商務在啟動內需方面的潛力，不亞于一個到幾個大省的內需總量。
第二，大數據可以推動城鎮化以智慧城市的新方式發展。舊的方式是向大城市集中，大數據將使城鎮建設走上以數據流動的方式配置資源的新型發展道路，新的生產方式有利于城鄉一體化發展。
第三，大數據有利于改進政府管理方式。官員博客與民眾建立起七天乘24小時的密切聯系，比周期性的四年一次的舊式選舉更有利于響應民意，為民辦實事，走出中國特色的社會主義民主新路。
第四，大數據產業將形成新的增長點，包括大數據基礎設施建設、數據技術產業、數據采集業、數據加工業的發展。根據維基（Wikibon）最近發布的報告，大數據市場正處在井噴式增長的前夕，未來五年全球大數據市場價值將達500億美元。
大數據還將對微觀經濟產生重大影響。IBM的CEO羅睿蘭說：“數據將是下一個大的自然資源，將會區分每個行業的勝者與輸家。”IBM的全球調查顯示：表現優秀的企業使用分析技術的數量比表現較差的企業高五倍。
首先，未來以政府、電信、教育、醫療、金融、石油石化和電力等行業為重點的大數據應用，將直接拉動整個社會的的應用規模。
其次，數據業務將成為各行各業的主營業務，圍繞大數據，企業將向分析即服務（AaaS）升級轉型，從而改變各行各業的業態。
再次，廣義的分析即服務得到大發展，包含一切以大數據為基礎的高附加值的創新型服務，例如面向制造的創客服務（DIY+3D打印）、基于咨詢數據平臺的生活方式設計師服務、基于統計數據挖掘的商業分析服務、基于設計平臺的創意服務，還有基于大數據的設計服務、管理服務、教育服務、市場服務、咨詢服務，以及基于行業或價值模塊細分的服務，等等。
從民間的大數據熱可以看出，大數據正得到有識之士的廣泛認同，激發民眾自下而上的創造熱情。《大數據改變世界》給我們的第三個啟發是：當代中國的決策水平，一定不能低于民間的決策水平，一定要領先于老百姓的認識水平。

大數據改變世界，要先改變我們的世界觀。不光要改造我們的文化歷史觀，而且要改造我們的技術歷史觀。要真相信（而不是假相信）生產力決定生產關系，決定生產方式，決定經濟基礎和上層建筑。大數據，已經是一張唯物主義的考卷，呈現在我們面前：是奮勇前進，還是停滯不前？是迎難而上，還是畏葸不前？是生存，還是消亡！

前言：大數據——改變世界的沖擊波


2008年，我告別西南小城，到美國做高級訪問學者，先后在辛辛那提大學和斯坦福大學，直到2010年。這是我在直接參與中國改革開放三十多年，親歷改革的艱難曲折、看到她的巨大成果和不可抗拒的趨勢之后，利用工作轉換之際，偷閑了卻難以克制的游學海外愿望的舉措，或許可說是還愿吧。從另一方面，在窮困落后的邊遠地區工作十年，像“傳教士”一樣目睹幾乎還沉郁在傳統農耕社會中的遲鈍與萬般無奈的人群，更強化了我“改革尚未成功，同志仍需努力”的意志。憶昔撫今，重新反思、研究，我總結自己三十多年來的創新思考和實踐，寫完了《大國崛起的政策選擇》、《大國發展模式——少數民族發展失衡預警機制》兩本書。

李德偉2009年在斯坦福大學
就在大量游覽世界新發展的同時，我繼續在世界IT產業之鄉思考：如何教會國民擺脫那些死讀洋書、不懂中國國情的“海歸們”的誤導，實踐我提出多年的預言“信息化是上帝給中國崛起準備的禮物”，我與谷歌（Google）方面的人士就智能搜索和檢索問題進行了溝通。
我對谷歌一度很重視，它進入中國的迅速發展過程引起了我認真的思考，雖然谷歌后來退出了中國，這并不影響我繼續對它的關注。我關于數據處理、搜索和主動搜索的智能化思考，源于我本身對知識的追求方式——我天生是那種無拘無束的探索者，我與生俱來的求知欲，加上對文化大革命“讀書無用論”的疑慮、對“封書批儒”的憤懣，導致了我廣泛的閱讀興趣。我從來沒被文理科的隔閡干擾過。我從小就如饑似渴地追求來自世界本身的真知，而不是被人扭曲、割裂導致的假象，這無疑就是跨越領域和快速流動的“大數據”。我天生享受一種沖動：關于“大數據”的沖動。
在我看來，谷歌的成功在于為世界提供了一個探索和感受世界的、強大的信息搜索引擎；以前那種為了求知“踏破鐵靴無覓處”的境況罕見了，海量信息信手拈來，以致數據信息洶涌澎湃，目不暇接。但令我目瞪口呆的是，這時社會竟然產生了普遍的“淺閱讀”和“不讀書”，而“跟著感覺走”的時髦風尚。
我突然感到，“物極必反”是一個多么偉大的規律！確實如子曰：“過猶不及”——海量數據與稀缺信息一樣，使人們左顧右盼，無所適從。盡管如此，海量信息蘊藏著無窮豐富的知識寶藏，還是令人得意忘形！
我一直堅信、呼吁，并身體力行：必須開發一種能為人們根據自己的目的和需要，主動地、有目的地，一句話，智能型地，為人們從海量信息中篩選有用數據的主動型智能搜索。她體貼入微，服務周到。她是下一步信息化發展階段——人工智能的基礎。
于是，關于海量數據或大數據將改變人類生活生產方式以至于思維和文化教育方式的意識迸發出來，我從斯坦福大學立即給中國決策者寫了關于“立即研發主動智能搜索”的建議，引起了上層關注。同是斯坦福大學回來的信息專家徐立約我一起寫了關于大數據的建議給中央，再次引發廣泛注意。善于將理論與實踐結合的王海平教授也加入了我們的合作。

徐立與來中國訪問的美國斯坦福大學著名教授、
美國最大的民間智庫CISAC創辦人Lewise.W.John合影
即使是在所謂世界末日的2012年，改變世界的大數據沖擊也已經激起洶涌波濤，美國總統奧巴馬提出了大數據戰略，歐盟也制定了相應對策。我與李安渝、王海平、徐立和趙勇——志同道合的學者克服重重阻力，終于在2012年成立了“中國國際經貿大數據研究中心”。
“中國國際經貿大數據研究中心”，是由在我國經濟改革與發展全過程中，長期活躍、執著奮斗的各個領域的學者組成。這個研究團隊不是一天形成的，她也有個由小到大，由分散到集中的發展過程，其中大多數學者長期在國家經貿委、國家發改委、財政部、商務部、工商總局和中國社會科學院等部委從事經濟社會管理研究和數據分析，對我國經濟社會發展進行了持之以恒的跟蹤調查。中國國際經貿大數據研究中心以實證分析為基礎，以政策研究為目的。
大數據研究中心的成員中，已有許多杰出的成果，例如：從1983年起，就開始對我國農村改革和企業行為與績效進行追蹤調查，曾提出“按生產要素貢獻分配理論及其實施方案”，得到中央的肯定，并成為法律。這一理論為馬克思主義發展和社會主義改革奠定了理論基礎。當年高度評價我們這一思想的厲以寧先生，最近，在提供給中國高層領導就如何解決嚴重分配不公問題的建議中，再度力舉實施這一方案。
1987年，通過對世界各國經濟發展追蹤調查，預見中國不能照搬西方增長老路，必須實行以產業結構調整，高新技術帶動的新型工業化。我們開始呼吁“信息化是上帝給中國崛起準備的禮物”。
1987年，通過對我國各類企業調查研究，指出，“民營經濟是中國經濟最活躍的部分，中國經濟體制改革的必然趨勢是民營化”。
1992年，提出了“經濟改革為主，宏觀調控為輔；結構調整為主，總量調整為輔；存量調整為主、增量調整為輔”的著名改革頂層設計政策體系，促進中國宏觀調控轉向以結構調整為主。
1994年，建立了中國市場監測指標體系，著手研究市場監測，對企業信譽、消費者滿意度等進行長期動態監測，也隨之啟動。
1997年，與經濟合作與發展組織（OECD）和國際著名經濟學家麥迪森合作，在全世界首先精確預見了我國經濟將增長三十年，到2020年GDP總量將超過美國，成為世界第一大經濟體。在我們孤掌獨鳴十多年后，世界各著名預測機構、學者才紛紛向我們靠攏。
1998年，建立了我國企業績效測評指標體系，對我國各類企業行為和業績進行系統追蹤調查、比較和評價。
1999～2000年，通過大數據市場監測研究，與國家工商局、國家輕工局、中國消費者協會、中國糖業協會，聯合發起“限制糖精濫用，啟動食糖市場”活動，得到國務院領導的支持，一舉使我國甘蔗種植業、制糖業扭虧為盈，成為甜蜜的事業。
2001年，提出中國—東盟經貿合作建議，直接推進中國—東盟經貿區域建立。
2004～2008年，提出“主動搜索”，探索大數據研究技術，直接運用于市場運營信息分析。
2008年，提出“中國南向崛起”，建立兩廣（珠）江（北部）灣經濟走廊新增長極，推動兩廣經濟一體化進程，穩定南海局勢。
2005～2010年，在國家社會科學基金基礎上，基于大數據研究，建立發展監測指數體系，對我國少數民族地區發展失衡提出預警。
2010年，推出“中國中小企業電子商務信用信息透明度評價體系”，建立中小企業信用監測評價體系。
2012年，建立國家工商總局直銷監測網，直接服務于國家市場監管。
現在，大數據研究中心這支專家團隊，繼續密切監測著我國市場運行，通過中國市場信息評價系統，采用大數據研究方式，發布企業誠信和消費者滿意指數。可見，在我國經濟改革發展全過程中，團隊始終保持著傲人的業績記錄。

2012年10月8日中國國際經貿大數據研究中心成立掛牌儀式
由于大數據成為熱點，我們長期默默的工作得到廣泛重視，來自四面八方的講演要求紛至沓來，為了給學員和朋友們講解，朋友們要求我們寫講稿。我也未曾想到，下筆竟難以收手，將多年來的思想一揮而就，形成“大數據的數理哲學原理”一文，該文已于2012年圣誕節在《光明日報》整版發表。此前，從美國歸來的計算機專家、教授看了我的文稿，極力支持我應繼續發揮，盡快發表，并希望與我們一起致力于為大數據奠定哲學基礎，在國際上公布，于是產生了此書。
本書應用部分，多半是遠在“大數據”概念提出之前，我的團隊做過或一直關注過的一些“大數據處理”的案例——因為大數據并不是突然從天而降，而是孕育于信息化的發展過程中。應用項目的主要研發者是蔣運承教授、伍軼明教授、范松海博士、徐瑞教授、顧煜教授、張福新先生以及李濟漢先生。還有上面提到的幾個令我們自豪的有關智慧產業和智慧城市的重大項目，因為篇幅的關系無法在此一一列舉。讀者可參見我們的諸多著作。