潘冰

一、 大数据发展阶段

在国内外，整个大数据的研究到现在已经过了炒作的阶段。Gartner咨询公司推出的技术发展周期报告认为，技术发展会经历这几个阶段：技术的触发阶段，期望的顶点，失望的壕沟和生产力的爬坡。2011年，大数据首先出现在这个曲线上，那时正是这个概念在媒体上大量炒作的阶段，正从技术的触发点急剧上升；2012年，大数据正接近期望值的顶点，是媒体和学术界炒作最火的时候，期望值最高；2013年，已经开始下降；2014年，大数据的期望处在急剧下降时期，一些相对具体的技术，像预测分析和针对地理位置的应用，正处在成熟的产生生产力的阶段。大数据这个概念，已经被细化的技术手段所替代了。

大数据的研究开始于搜索引擎的数据。2008年，《自然》杂志发表了谷歌科学家一篇关于利用谷歌关键词搜索量预测流感的文章。美国疾病控制中心对流感的预测一般是利用医院和医生报告的数据，但是病人通常先搜索相关的关键词再去看医生，这样谷歌搜索的流感可以提前两周预测出流感的爆发，而且准确率很高。但《科学》杂志在2014年发表了一篇文章，专门指出谷歌预测的不准确性。谷歌有些预测是实际病人数量的两倍；谷歌的流感预测总是多于实际流感的发生。谷歌的预测并不比美国疾病控制中心时间序列预测方法更准确。这里首先有过度拟合的问题。谷歌有成千上万的关键词，你总会找出一些拟合度高的词，但可能完全没有关系。……