汪俭华，陈守维

（黔东南州大数据发展中心，贵州凯里 556000）

大数据最早是由IBM 公司于2010 年提出的，其具有海量数据、高速响应、多样化、价值密度低等特性[1]，如何将海量的原始数据转换成为有用的数据是当下的热点问题。在这些海量数据内部都包含了具有一定规律的社团结构，针对这一特性，该研究利用仿射传播聚类算法迁移到云平台上实现并行化来改进对海量数据的处理效率[2-3]，提升用户体验。

1 云计算技术

1.1 社团结构

社团结构，是网络中的一个共性特征，指网络中的顶点可以形成分组，每个组内顶点之间的相互连接紧密，而不同组间的顶点之间的相互连接则相对稀疏。在海量数据网络中，对社团结构的研究分析可以优化在并行计算中分配任务的合理性，从而减少各个计算节点之间的通信成本，提高大规模计算的效率。目前用于划分网络中社团结构的算法主要包括基于图论、基于模块度优化、基于动态、基于重叠社团4 类算法。

以上几类发现算法中的典型代表是K-means 法（划分类聚算法），但都存在复杂度较高，无法处理海量数据网络，获得结果不稳定等问题[4]。通过利用云计算技术实现仿射传播聚类算法的并行化，能够有效处理海量数据网络。

1.2 Hadoop系统

Hadoop 系统作为云计算技术的基础设施，可以部署服务器集群在大量廉价的硬件设备上，系统的底层用于对服务器集群进行管理，系统的上层能够十分便捷地构建应用，可以动态地调整分布式节点[5-8]。……