APP下载

大数据的陷阱

2015-12-07卢昌海

中学语文 2015年17期

卢昌海

大数据的陷阱

卢昌海

这几年,大数据 (bigdata)的“出镜率”颇高。连带着,“数据科学家”(datascientist)成为了新的高薪一族。人气、财气的提升也带动了士气,有人开始高估大数据的神通,仿佛只要积累了足够多的数据,请“数据科学家”们坐在电脑前——就像福尔摩斯坐在太师椅上——敲一通键盘,各种问题就都能迎刃而解了。

大数据真有如此神通吗?回顾一段小历史对我们也许不无启示。

那是在1936年,美国共和党人艾尔弗·兰登(AlfredLandon)与民主党人富兰克林·罗斯福(Franklin D.Roosevelt)竞选总统。当时很有影响力的《文摘》杂志(TheLiterary Digest)决定搞一次超大规模的民意调查,调查人数高达1,000万,约为当时选民总数的1/4,最终收到的回复约有240万份,对于民意调查来说可谓是“大数据”——事实上,哪怕在今天,一些全国性民意调查的调查对象也只有几千。通过对这组“大数据”的分析,《文摘》杂志预测兰登将以55%比41%的显著优势获胜。但不久后揭晓的真正结果却是罗斯福以61%比37%的优势大胜。《文摘》杂志的“大数据”遭到了惨败。

当然,那是陈年旧事了。240万份回复作为民意调查是超大规模的,从数据角度讲,以今天的标准来衡量却实在小得可怜。不过,今天的“大”在几十年后也未必不会如昔日的“小”一样可怜。那段小历史的真正启示在于:数据已大到了统计误差可以忽略的地步,结果却错得离谱。这种类型的错误对于大数据是一种警示。

现在让我们回到当代。2008年8月,大数据“成功偶像”之一的谷歌(Google)公司领衔在《自然》(Nature)杂志上发表论文,推介了一个如今被称为 “谷歌流感趋势”(GoogleFlu Trends)的系统。……

登录APP查看全文