刘寿强，祁明

（1.华南理工大学经济与贸易学院，广州　510006；2.华南师范大学物理与电信工程学院，广州　510006）

基于Hadoop云平台的社交大数据协同过滤个性化推荐的研究与实现

刘寿强1，2，祁明2

（1.华南理工大学经济与贸易学院，广州510006；2.华南师范大学物理与电信工程学院，广州510006）

云计算的出现，有效地解决大数据时代的数据冗余、处理速度慢、空间不足等难题，满足信息化社会快速发展的数据需求。首先简介云计算，大数据，几种经典的推荐算法和个性化推荐。然后把云平台与推荐系统的推荐引擎结合起来，利用协同过滤算法结合MapReduce框架模式进行计算，分别基于共同好友和共同兴趣对一个微博大数据集进行处理并得出推荐结果，给用户推荐潜在关注者和关键字，并对实验结果进行分析得出结论，验证云计算能有效并且快速处理大数据，提高计算机大规模数据计算处理能力。

云计算；Hadoop；大数据；协同过滤；个性化推荐

广东省公益研究与能力建设专项资金项目（No.2016A020223012、No.2015A020217011）、广东省交通科技计划项目（No.2015-02-064）、广东省本科高校教学质量与教学改革工程项目（粤教高函[2015]133号）、广东外语外贸大学南国商学院2016年教改重大项目、广州大学华软软件学院重大科研培育项目20000104与教研项目KY201412

1　大数据的协同过滤算法

云计算的出现，有效地解决了大数据时代，数据冗余、处理速度慢、空间不足等难题，满足了信息化社会发展的数据需求。Hadoop是当今主流应用最广的云计算平台，Google的MapReduce算法也能在Hadoop中实现，而且提供一个文件系统HDFS用来存储各个计算节点上数据，使得Hadoop框架具有高容错性，能够处理失败节点[1-2]。……