周虹君 殷复莲 陈怡婷 周嘉琪 伊成昱

【摘要】 本文针对协同过滤推荐算法中存在的矩阵稀疏问题，提出了基于聚类和矩阵分解的推荐算法，并结合隐式反馈信息构建的电视用户收视偏好模型，将推荐算法应用有电视动画受众分群和推荐中。针对受众分群和节目推荐所使用的聚类算法和推荐算法涉及大量的迭代计算的问题，采用了高效的分布式计算系统——Spark进行电视动画节目推荐研究。该方法提高了推荐准确度，运行时间明显减少，具有较强的可扩展性。

【关键词】 Spark 受众分群 矩阵分解 推荐 电视动画 节目标签

引言

推荐算法是目前应用较广的数据挖掘技术，在学术研究和应用方面都得到了广泛关注。Shihang H[1]在MapReduce上实现了对网络服务的协同过滤推荐，而MapReduce并不擅长推荐算法的迭代计算；Jing M[2]构建了大规模的广告推荐系统；Duo L[3]提出了基于统计模型的推荐方法，以解决协同过滤算法中的矩阵稀疏问题，并将其应用于用户行为分析及推荐中；YiBo H[4]提出了基于聚类的协同过滤推荐算法，但其涉及的迭代式计算较多，致使无法实现较高的效率。Manda W[5]等人在Spark上实现了基于ALS模型的协同过滤推荐。结合以上研究以及存在的问题，文本利用Spark在内存计算和迭代计算上的优势，提出了Spark框架下受众分群及聚类分解的推荐算法，将其应用于广电动画节目受众推荐研究中。本文使用隐式反馈信息构建“用户-标签”收视偏好模型，通过聚类划分用户簇实现受众分群，然后使用矩阵分解的推荐算法针对不同的用户簇进行推荐，可进一步降低矩阵的稀疏性。……