袁 波

中国电信股份有限公司江阴分公司

0 引言

随着《Nature》和《Science》等相继出版专刊探讨大数据在未来的应用，大数据逐渐成为社会各界关注的热点。大数据被誉为“未来的新石油”，甚至被认为将决定着国家的竞争力，因此数据所有权的争夺和数据处理技术的发展将成为新的战略焦点。

1 大数据的定义

属性定义：2011年，大数据研究的先驱国际数据中心（IDC）在报告中定义大数据：“大数据技术描述了一个技术和体系的新时代，被设计于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值”。这个定义把大数据特征归纳为“4Vs”，即大容量（volume）、多样性（variety）、更新快（velocity）和高价值低密度。毛波认为大数据应该符合数据量大、相互关联、场景多、实时性高、对未来有影响5个特点。大数据的大体现在数据的关联性和连通性。大数据是前向倾销后向变现的手段。工业界普遍认为从关注交易数据到关注行为数据是推动大数据发展的重要原因，由于交易数据和行为数据为1:100的关系，这时数据容量是传统的工具无法处理。大数据表现为行为数据的一致性并不重要，缺失10%没有很大关系，大数据是解决那些采样后处理结果迅速下降的问题，一般为个性化问题。大数据的结果一般不是给人看的，是给机器看的。

比较定义：2010年Apache Hadoop组织将大数据定义为“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。2011年麦肯锡（McKinsey）定义为：“超过了典型数据库软件工具捕获、存储、管理和分析数据能力的数据集”。……