中恒海丰信息系统技术有限公司 徐 立

北京联合大学电子学院 金 一

一、“大数据开发计划”将迎来大数据时代

从农业社会—工业社会—信息社会，工业社会向信息社会发展的几次重大浪潮，都对人类历史发展留下了深刻而巨大的印记。特别是最近60年迈入信息社会以来的各种变化，都伴随着技术的进步，从IBM的第一台电脑诞生，到移动通信、互联网、再到今天的大数据应用。

上世纪80年代美国托夫勒的《第三次浪潮》给正经历改革开放的中国人带来了巨大冲击，一个全新的信息社会呈现在我们面前。随着电话、电脑、互联网的普及，人们对信息社会的认识越来越清晰，特别是上世纪末美国率先提出的“信息高速公路计划”，将全球信息化水平推进到一个新的高度。除了在各种硬件产品的创新外，软件产业也得到了迅猛发展，世界社会和经济在创新和发展的氛围中突飞猛进。

我们从十年前的IMF2001年的统计，新技术特别是信息技术对美国经济的贡献率达到1.86，已经可以看到信息技术对社会经济的深刻影响（见表1）。

表1 新技术对美国经济增长的贡献率（每年%）

从表1，我们可以看到：

（1）在工业革命的三次浪潮中，信息技术对经济社会的冲击是最大的，无论是对金融的拉动，还是在技术进步上的渗透都是最大的，综合反映到对社会经济发展的贡献率是前几次工业化进程中都无法比拟的。

（2）当年代距离我们越近的时候，也是信息技术越来越完善的时候，对金融、实体企业的技术和社会经济综合贡献率就越高。

（3）进入信息社会的前期，技术进步是越来越快，摩尔定律在今天已经显得落后。新技术新产品更新速度越来越快，数量、速度、效率和效率越来越高。

（4）信息共享、学科交叉、融合、渗透更加活跃，行业、部门融合与交流更加频繁。

随着每天越来越多的信息被收集和存储起来，大数据正呈爆炸式增长。MGI曾估计2010年全球的企业在磁盘上存储了超过7EB（exa byte，艾可萨字节1 EB＝1018字节）的新数据，而消费者则在个人电脑和笔记本（以及移动设备）等设备上存储了超过6EB的新数据。数据调查公司IDC曾预计2011年的数据总量将达到1.8万亿吉字节（GB），无论是1.8万亿GB还是7EB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。

国内的计世资讯研究表明，在企业用户中，已经有67.5%的用户认可云服务模式，并开始采用云计算服务，或者在企业内部部分实现云平台共享。未来以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点的大数据应用将直接拉动整个社会的的应用规模，市场规模也将从2010年的167.31亿元增长到2013年的1174.12亿元，年均复合增长率达到91.5%。根据Wikibon最近发布的报告，大数据市场正处在井喷式增长的前夕，未来五年全球大数据市场价值将高达500亿美元。2012年初，大数据相关软件、硬件和服务的收入总和只有约50亿美元并保持每年58%的惊人复合增长速度。市场研究机构IDC数据表明，2020年新增的数字信息成长幅度将是2009年的近45倍。

投资银行JMP证券分析师Greg McDowell则表示大数据工具市场预计将在10年内由2011年的90亿美元增长至860亿美元。到2020年，企业在大数据工具方面的投资将占整体企业IT开支的11%。另外，国外的大数据趋势报告《解读大数据的商业价值和战略意义》也指出，已经有超过33%的受访企业已经或者计划部署大数据项目。

由图1可以看出，大数据的应用已经涵盖了各行各业，并且数据规模增长也非常迅速，其中科技开发、制造业、政府、通信媒体、流通领域、银行、医药卫生、证券投资、咨询服务、房地产等行业对大数据技术的应用越来越广泛。所有这些过去一直在信息处理技术软硬件开发方面具有传统优势的企业将迎来新的发展机会，同时这些大数据处理技术将给政府和电信、教育、医疗、金融、石油石化、电力等行业部门的发展带来新的冲击，直接推动各政府部门、行业研究部门管理提高和实体经济部门的产业升级。

一场新的投资热点和经济发展浪潮正在形成。从美国政府的计划看，大数据开发涉及到社会和经济的各个层面，所以这个计划一出台就已经不是一个科技创新的计划，而是一个推动美国继续在高技术领域领先的战略计划，同时更是一个推动美国社会经济发展的计划。

这个美国的发起的新计划，已经在全球扩展开来。一个新的社会经济大发展的时代即将到来！

图1 美国各行业企业平均数据规模

二、大数据开发将推动世界科技发展进程

早在1940年代，控制论之父Wiener已开始讨论这样一种机器，它能收集足够多的各种类型信息，生产的、市场的、人的心理的，然后据此确定事情发生的概率。而那时，计算机还没有诞生。

Jim Gray回忆，他1969年之前在伯克利攻读博士时，就已与一些同事将计算机科学应用于社会问题研究，这也是他后来一直研究的主题之一。他在微软研究院领导的项目名就叫eScience，很多工作是将微软的各种计算资源开放给其他学科的学术界同行解决那些数据密集型的课题，取得了丰硕的成果。2007年Jim Gray，在美国国家科学研究委员会发表演讲，指出科学研究已经从几千年前的凭经验、几百年前的靠理论模型、几十年前的计算仿真之后，进入了第四阶段——数据探索。在此阶段，科学家依靠各种仪器、传感器获取数据，或者通过仿真生成数据，然后用软件进行处理，将得到的信息/知识存储在计算机中，再由科学家借助各种统计和数据工具进行分析和可视化。这基本上是大数据处理的经典义。

我们可以通过目前生物医药技术、金融工具、基因研究、工程物理、气象、情报研究、公共服务领域、计算机、电力、大规模集成电路开发等科技领域的技术手段中对大数据技术的应用研究后得出这样的结论：

（1）学科渗透和交叉在大数据开发中变得更加活跃。让相关关系对象更容易地及时获得大数据，能创造巨大的价值。

（2）通过实验来发现需求、呈现可变性和增强绩效。部署能够收集数据的技术——感知世界的能力在持续地增强。越来越多的学科和技术研究以数字化的形式存储大量非常详细的数据。因为可以访问这些数据，并且有时还可以控制数据生成的条件，所以科学方法更加精准，也就是说将更加科学的方法引入到学科研究和实验中，例如，将经典的科学方法应用到技术创造的实践中。现在可以使用控制实验的科学流程，包括特定假设的公式等，来设计和实施实验，经过严格地分析定量的实验结果后再做出决策。

（3）细分研究对象，采取灵活的方式利用大数据，组织可以创建更窄的细分段、更精确地精简服务来满足对象的需求。

（4）用自动算法代替或者帮助人工决策。精密的分析能够实质性地优化决策、减少风险以及发掘有价值的观点，反之则可能一直被忽视。大数据也能提供用于开发算法或者算法需要操作的原始数据。当今的基于大数据的分析，包括基于规则的系统、统计分析和机器学习技术（如神经网络）等。

（5）创新研究模式、技术手段和服务。因为有了大数据，所有类型的研究都可以创建新的研究模式、技术手段和服务，改善现有的研究和服务以及发明全新的研究模式。

所有大数据开发的这些特点都不同程度推动了相关领域科研和技术的进步，并且大数据的应用是越来越深入。发达国家在生物医药技术领域采用大数据的分析，大大缩短了新药的实验周期，使新药问世出现了前所未有的变化；美国、加拿大的气象预报的准确度得到大幅度提高和预报周期可以长达三个月以上；大数据开发在美国军事情报部门的广泛的应用，使其情报研判有了质的飞跃；生物工程、空间技术、大地勘察、海洋勘探、资源调查等高技术领域已经离不开大数据的研究开发。大数据开发就如显微镜的发明一样，使所有科学研究的领域都能够更加精细和准确，将人类的分析手段达到了一个新的高度。

三、大数据开发给社会经济发展带来革命性的影响

特别是在全球经济经历了近十年经济危机的情况下，经过多年的酝酿，在信息处理技术和各行业和企业信息化程度已经到一定高度，世界经济面临向何处去、如何突破的困境时，大数据开发给世界经济带来了突破的曙光，许多经济学家将它称为“大数据时代”的到来。美国政府也把它作为“高速公路”计划、“星球大战”计划和“信息高速公路”计划一样予以高度重视，种种迹象表明大数据开发将推动许多重要部门和行业的经济增长方式转变和运行模式升级。

随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。经过对世界经济有深刻影响的五个领域的深度分析后，国际著名的咨询机构IDG对大数据将改变社会经济发展，并创造出惊人的价值和变革潜力做出了十分肯定的答案。

IBM的CEO罗睿兰说：“数据将是下一个大的自然资源，将会区分每个行业的胜者与输家。”大数据蕴含的商业价值不可估量，越来越多的企业已经意识到，大数据分析是企业在未来发展过程中必须面对的，企业能够从这些新数据中获取新的洞察力，并将它与已知业务各个细节相融合。

经济学家Schumpeter指出：数据正在成为像有形资本、人力资本这类产品的一个因素，数据资本将和品牌资本一样重要。Richard Maddox也指出，充分的证据表明大数据能显著地为国民经济作出贡献，它为整个世界经济创造实质性的价值。Stowe Boyd从解决就业的角度更进一步指出：仅美国就面临140,000至190,000分析和管理人才缺口，和150万具备理解和基于大数据研究做出决策的经理和分析师人才缺口。

除了上述总结性的论述外。在信息技术和信息化程度最高的美国，大量的事实也证明大数据时代改变了社会生活的方方面面。其中最著名的例子仍旧是迈克尔·刘易斯（Michael Lewis）在2003年出版的《点球成金》（Moneyball）一书，这本书记录了低预算的奥克兰运动家队是如何利用经过分析的数据和晦涩难解的棒球统计学来找到被评价过低的棒球手的。在布拉德·皮特（Brad Pitt）主演的电影版《点球成金》去年被搬上银幕以前，深度的数据分析就不仅已经成为棒球领域中的标准，而且在英国足球联赛等其他体育项目中也是如此。

沃尔玛（WMT）和Kohl’s等零售商也已经开始对销售额、定价以及经济学、人口统计学和天气数据进行分析，藉此在特定的连锁店中选择合适的上架产品，并基于这些分析来判定商品减价的时机。UPS等货运公司也正在对卡车交货时间和交通模式等相关数据进行分析，以此对其运输路线进行微调。

Match.com等交友网站也经常会仔细查看其网站上列出的个人特征、回应和交流信息，用来改进其算法，从而为想要约会的男女提供更好的配对。在全美范围内，以纽约市为首的警方部门也正在使用计算机化的地图以及对历史性逮捕模式、发薪日、体育项目、降雨天气和假日等变量进行分析，从而试图对最可能发生罪案的“热点”地区作出预测，并预先在这些地区部署警力。

吕诺尔夫松及其两名同僚在2011年发表研究报告称，数据指导下的管理活动正在美国企业界中蔓延开来，而且这种管理活动正开始获得回报。这三名学者对179家大型公司进行了研究，发现那些采用“数据驱动型决策”模式的公司能将其生产力提高5%到6%，这种生产力的提高是很难用其他因素来解释的。

在公共卫生、经济发展和经济预测等领域中，“大数据”的预见能力正在被开发中，而且已经崭露头角。研究者发现，曾有一次他们发现“流感症状”和“流感治疗”等词汇在谷歌上的搜索查询量增加；而在几个星期以后，到某个地区医院急诊室就诊的流感病人数量就有所增加（还需要指出的是，医院急诊室发布报告的时间通常要比病人就诊的时间晚上两个星期左右）。

联合国（微博）已经推出了名为“全球脉动”（Global Pulse）的新项目，希望利用“大数据”来促进全球经济发展。联合国将进行所谓的“情绪分析”，使用自然语言解密软件来对社交网站和文本消息中的信息作出分析，用来帮助预测某个给定地区的失业率、支出削减或是疾病爆发等现象，其目标在于利用数字化的早期预警信号来提前指导援助项目，以阻止某个地区重新陷入贫困等困境。

在经济预测领域中，已经有研究表明，与不动产经济学家所作出的预测相比，谷歌上住房相关搜索查询量的增加或减少的趋势能更加准确地预测未来一个季度中的住房市场走势。美联储及其他机构已经注意到这一点。在2011年7月份，美国国家经济研究局（National Bureau of Economic Research）主持召开了一次研讨会，此次会议所讨论的内容是“大数据时代的机会”及其对经济领域的影响。

“大数据”还已经令针对社交网络运作方式的研究发生了变化。在20世纪60年代，哈佛大学的斯坦利-米尔格拉姆（Stanley Milgram）利用包裹作为研究媒介，进行了一项与社交网络相关的著名实验。他将包裹寄往美国中西部地区的志愿者，指导他们如何将包裹带给波士顿的陌生人，但不能直接交付；参与实验者如果想要通过邮寄方式来交付包裹，那么目标对象就可能是他们认识的人。结果表明，一个包裹换手的平均次数相当之低，仅为6次左右。这是对所谓“小世界现象”的经典阐释，据此形成了“六度分隔”（six degrees of separation）的流行词汇。

互联网最近二十多年的发展，与信息有关的产业生态环境和产业链都发生了天翻地覆的变化。当我们回顾信息化的历程时，我们对于技术创新的回忆最清晰、最直观的是产品，交换机、路由器、光纤、手机、电脑等，互联网、信息等。在另外一个层面，是信息交换、传输、处理、分类、分析。当我们谈论大数据的时候，已经在一个抽象空间中去想象，一个已经无法具体描述的数字世界，这就是大数据的世界，一个原来无序、混沌的世界，在数据处理技术面前变得规律、有序。

在即将到来的大数据时代，与之相关的社会经济方方面面涉及到的产业链也必将发生重组性的巨变。而大数据时代开启的将是在原有产业和部门一个全新的服务模式，更多的交叉产业必将形成。

可以看到在大数据开发的演进过程中，世界经济迎来了新一轮的大发展。■