基于Mahout的新用户推荐算法的设计与实现*
2015-09-22高献卫师智斌
高献卫,师智斌
(中北大学计算机与控制工程学院,山西 太原 030051)
基于Mahout的新用户推荐算法的设计与实现*
高献卫,师智斌
(中北大学计算机与控制工程学院,山西 太原 030051)
为了解决大数据背景下新用户因没有历史数据而导致推荐难和推荐效率低等问题,提出将基于Mahout的协同过滤算法与基于Map Reduce的Top N算法相结合的技术方法,来实现新用户推荐算法,从而构建新用户推荐系统的架构,并对Hadoop Top N算法以及Mahout中协同过滤算法进行设计与实现。理论分析和实验验证表明,该新用户推荐算法在推荐效率、对大规模数据处理的伸缩性以及推荐质量上都明显优于单独使用协同过滤算法的新用户推荐。
新用户推荐;Mahout;推荐系统;Hadoop;大数据
1 引言
随着Internet和IT(Information Technology),特别是社交网络SNS(Social Networking Services)、电子商务E-commerce和基于位置的服务LBS(Location Based Services)的快速发展,以及云物移大智(云计算、物联网、移动互联网和智慧城市)等新概念和新技术的出现,数据增长的速度很快。用户获取信息很困难,从而引起“信息过载”问题。有许多网络应用(如门户网站,百度、谷歌等搜索引擎),追根究底是帮助用户过滤无用信息。然而,这些所谓的工具,只能满足非个性化的需求,对于个性化需求却无法满足。所以,作为“个性化服务”[1,2]的一个分支——推荐系统[3~6],通 过分析“用户-项目”之间的二元关系,帮助用户找到感兴趣的项目。目前,推荐系统有了巨大的进步,应用在电子商务、信息检索、移动应用、电子旅游、网络广告等方面。
同时,由于数据来源的多样性(互联网日志、传感器数据和移动互联网等)和数据种类的繁多(结构化、半结构化和非结构化等),推荐系统数据的存储和并行计算经受了严重的考验。……
