基于大数据的Web个性化推荐系统设计

2018-08-21张婷婷

现代电子技术 2018年16期

张婷婷

摘要：為了解决基于数据挖掘技术的Web个性化推荐系统对Web的推荐结果准确率低，反应时间长的问题，设计基于大数据的Web个性化推荐系统。塑造系统组成框架图，设计系统的总体功能包括源数据采集、数据预处理、用户兴趣分析与实现、个性化推荐以及推荐引擎。源数据采集利用Sqoop工具将数据库中的数据转移到HDFS中以便H?ICRS算法进行数据提取，并获得推荐的历史数据，实现作为系统上层数据支持的功能。针对分析用户长远和当前的Web兴趣度，分别采用语义分析模型和分片聚类的方法，分析用户Web使用兴趣。塑造单个推荐引擎的推荐引擎架构，得到最终的Web个性化推荐列表。实验结果表明，所设计系统的Web个性化推荐结果准确率高，系统的抗压能力强。

关键词：大数据； Hadoop； Web个性化推荐；系统设计； Sqoop； H?ICRS算法

中图分类号： TN919?34 文献标识码： A 文章编号： 1004?373X（2018）16?0155?04

Abstract： A Web personalized recommendation system based on big data is designed to solve the problems existing in the Web personalized recommendation system based on data mining technology for its low accuracy rate of Web recommendation results and long reaction time. The composition framework of the system is built. The system′s overall functions including source data acquisition， data preprocessing， user interest analysis and implementation， personalized recommendation， and recommendation engine are designed. During source data acquisition， the Sqoop tool is used to transfer data in the database to the HDFS， so as to extract data by using the H?ICRS algorithm， obtain the recommended historical data， and realize the upper layer data support function of the system. By analyzing users′ long?term and current Web interest degree， the semantic analysis model and fragmentation clustering method are adopted respectively to analyze users′ Web interest. The recommendation engine architecture is constructed for a single recommendation engine to obtain the final Web personalized recommendation list. The experimental results show that the designed system has high accuracy rate of Web personalized recommendation results and strong anti?pressure capability.

Keywords： big data； Hadoop； Web personalized recommendation； system design； Sqoop； H?ICRS algorithm

随着经济技术的迅猛发展，产生了大量的数据信息。人们每天都会获取大量的信息，但是信息质量都各有不同。如何确保用户在获得自己感兴趣的Web同时，将外界干扰的Web影响降至最低[1]，是当前推荐系统亟需解决的问题。随着数据的增长，传统基于数据挖掘技术的Web推荐系统向用户推荐的Web准确度较低，已经无法满足用户的个性化需求。针对该问题，本文设计基于大数据的Web个性化推荐系统，提高系统的个性化推荐效果。