王英哲

（石家庄职业技术学院 图书馆，河北 石家庄 050081）

大数据是需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产［1］.它利用各种知识发现技术管理数据，快速提取有价值的信息，为提高各行业的核心竞争力提供关键数据.大数据时代为文献的分析与利用提供了新的途径，过去无法收集与分析的数据都被新的技术手段赋予了可能性.

1 大数据的特征

（1）海量

大数据可以用数据海啸来形容.据统计，Facebook每天处理27亿次Like按钮点击，每天上传3亿张图片.国际数据公司（IDC）的研究表明，2008年全球产生的数据量为0.49ZB，2009年为0.8ZB，2010年增长为1.2ZB，2011年高达1.82ZB，2012年达到2.8ZB，它相当于全球每人产生200GB以上的数据.全球的数据资料存储量在2020年将达到40ZB（1024GB＝1TB，1024TB＝1PB，1024PB＝1EB，1024EB＝1ZB）［2］.

（2）多样性

大数据的数据包括：网络日志、音视频、图片、地理位置信息等，数据类型丰富.

（3）精确度高

基因组数据、地理空间数据、人口数据、经济运行数据、卫星遥感数据等均要求数据的准确性，而以大数据为基础便能为科学决策提供精准的数据.

（4）处理速度快

处理速度快是大数据和传统数据挖掘技术最显著的不同.气象数据、航天遥测遥控数据、交通流量、地震监测数据等都要求数据的速度及时效性.而人们可从大数据中快速获得满足要求的信息.

2 数据处理过程及其主要的知识发现技术

2.1 数据处理过程

大数据的处理流程可以概括为四步，即采集、导入和预处理、统计和分析、挖掘……