卢建辉

（中国移动通信集团河北有限公司，石家庄 050011）

1 大数据技术的特点

第一，需要处理较大数据信息量。首先在大数据处理阶段中，最主要的就是要处理PB级甚至是EB级的数据量。第二，大数据信息中数据非结构化的发展。随着移动通信网络的不断发展，促进了大数据时代的来临，使得大量的非结构化数据在迅速的增加，其中需要处理的非结构化数据已经占据了总数据量的80%。

2 关键技术

大数据处理一般情况下需要经过四个步骤，如图1所示，以物联网为例，讲述四个关键技术。

图1

2.1 清洗、提取

许多终端在无人监控或者在环境恶劣的情况下，大量收集数据，这样收集而来的原始数据可能出现错误和误差，不准确和不完善，会导致数据的可靠性大大降低，因此就需要通过清洗技术，去除部分错误、冗余和不完整的数据，最后将数据提取出来并储存。许多算法可以对数据进行清洗提取，但是大都是针对小量数据，并不能处理巨量数据，特别是 PB或者 EB级别以上的数据。因此，为了保证数据的正确性和完善性，确保分析结果的可靠性，算法等清洗技术需要不断发展和优化，这是近期需要迫切解决的关键技术问题。

2.2 集成

因为原始数据都是通过不同的终端收集而来，正是多源异构这一本质特征，所以，需要将来源不同的数据进行清洗提取，最后进行数据融合，将表示同一实体的不同数据表象融合至单一的数据表象，能够解决数据间各种冲突矛盾的情况。……