黄锦辉

香港中文大学工程学院，香港 999077

开发商业智能应用小心大数据“陷阱”

黄锦辉

香港中文大学工程学院，香港 999077

大数据的应用和研究是信息爆炸时代的热点话题。就如何更智能地发现大数据中的有用信息展开讨论，探讨了大数据中的“陷阱”和其引发的社会危害，提出一种面向社交文本的智能应用系统，以有效规避大数据中的“陷阱”并自动提取有用信息；基于提到的框架，展示了笔者研究组近些年在社交媒体上的事件检测、自动摘要和谣言检测方面的研究成果。

大数据；自然语言处理；社交媒体；数据处理

1 大数据中的“陷阱”

自从前美国总统奥巴马2012年3月推出2亿美元的“大数据研究和发展计划”后，世界各大小经济体陆续效仿，大力投资相关领域。全球信息科技企业亦不敢怠慢，积极推出适合的大数据信息科技方案及产品，更大洒金钱地推广大数据分析的优点及其所能带来的商机。据观察，近期不少从事金融、医疗、社会工作、工商业、政务等范畴的主管都已被潜移默化，鼓吹大数据的功能及效益。然而，大数据真的是万能的吗？目前为止，大数据的处理和应用仍存在如下问题。

（1）采集数据时“南辕北辙”

采集的数据应与目标相符，并不是越多越好，如果南辕北辙将得出错误的结果。题为“谷歌流感的寓言：大数据分析的陷阱”的报告描述了谷歌公司曾利用大数据分析推算2011—2012年度美国流感的趋势[1]，但结果却不如人意，估计的流感个案数目远超过实际数目。……