邬贺铨

一、大数据的价值

关于大数据的定义有很多提法，维基百科给出的定义是：“大数据是指无法在容许的时间内用常规软件工具对其内容进行抓取、处理和管理的数据集合。大数据规模的标准是持续变化的，当前泛指单一数据集的大小在几十TB和数PB之间”。这是一个大众化的定义。这可能收到了大数据英文词“Big Data”中的“Big”的误导。

作者认为，大数据的价值不仅仅在于数据大，不是说数据量越大越好，数据大与价值大未必成正比。例如将一个人每分钟的身体数据记录下来，对了解该人的身体状况是有用的，但如果将他的每毫秒的身体数据都记录下来，数据量将较前者高6万倍，与按分钟记录的数据相比，其价值并不一定增加。另外，大数据的价值在于样本数的普遍性，如果统计一个人每分钟的身体状况数据与统计60个人每小时的身体状况数据相比，数据量是相等的，但后者在统计上更有意义。

其次，大数据往往是低价值密度，大数据的价值绝对值可能是大的，可是相对值是低的，大数据中多数数据可能是重复的或对我们关注的问题没有意义，忽略其中一些数据并不影响对其挖掘的结果。因此可以说大数据的价值挖掘是从沙里淘金和海里捞针。

值得关注的是，实际上对中小数据的挖掘同样值得重视。北京公交一卡通每天刷卡四千万次，地铁一千万人次，这在全世界都是最多的了，这些数据累计一年下来也不到TB，它的级别充其量就是中数据。……