让大数据分析更可信

2017-04-21王腾蛟李喜莲

大数据 2017年2期

关键词：方法

王腾蛟，李喜莲

北京大学信息科学技术学院，北京 100871

让大数据分析更可信

王腾蛟，李喜莲

北京大学信息科学技术学院，北京 100871

大数据在学术界和产业界的各个领域正扮演着愈加重要的角色，但同时，大数据是否可信，引发了无数研究者的广泛关注和激烈讨论。从大数据名称的历史演变、大数据应用的案例分析以及大数据工程的角度探索大数据的可信程度，并由此总结出保证大数据分析正确性需要解决的3个挑战：正确选择数据源、科学抽样有代表性和有价值的数据、严谨完备的大数据工程分析方法。

大数据；数据仓库；海量数据；大数据工程

1 引言

《Nature》大数据专栏曾经论述数据在数学、物理、工程、社会及经济等领域扮演着愈加重要的角色，《光明日报》报道，以“社交网络分析”“观点挖掘”等大数据技术为基础的人文社会科学研究方法逐渐被采纳，并成为重要的发展方向，人文社会科学的大数据研究必然会成为人文社会科学的主流领域之一。因此，学术界大数据已经成为众多学科的一种科研方法，工业界依据大数据的分析结果进行决策支持的方法已被广泛应用于各个行业。大数据是否可信，引发了人们的激烈讨论。

本文主要从大数据的历史演变、大数据分析的可信性以及大数据工程的角度，分析大数据面临的机遇和挑战以及如何应用科学合理的工程方法保证大数据分析的正确性。