基于Hadoop平台的用户网络行为系统设计
2016-04-07严春景谢胜利
电脑知识与技术 2016年3期
关键词:数据挖掘
严春景 谢胜利
摘要:网民借助于网络工具进行的一切操作都会产生大量的有用数据,尤其是在当下电商的迅猛发展局势下,利用数据挖掘技术分析这些数据有助于提出更好的推荐系统和广告设置。该文就基于目前的研究现状分析并设计以Hadoop大数据平台为依托,采用K-means算法实现本系统。
关键词:数据挖掘;网络行为;Hadoop大数据
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2016)03-0049-02
据《中国移动互联网用户行为统计报告2015》一文中的数字显示,截至2014年,中国移动互联网用户规模达7.29亿,其中社交、娱乐、实用工具以及阅读类应用用户占比超过70%,出行旅游、消费(实物)类应用用户占比大于40%[1]。网络世界里充满着多方面的信息和数据,如何通过分析这些数据来发掘用户的潜在需求,为用户推荐更好的产品或服务是当前电子商务的一大营销策略。本文从云计算技术和聚类算法的两个角度来设计用户行为分析系统,希望能为电商系统的精准营销做出贡献。
1系统流程
本次研究主要是围绕如何在Hadoop分布式处理平台之上,借助云计算的方法来研究网络用户的行为而展开的。利用网络用户行为所产生的海量的日志数据构建大数据环境,借助Hadoop分布式处理的框架和聚类算法等挖掘出相应的信息。
1.1数据提取
本系统针对网购用户的行为进行分析,数据来源于搜狗实验室所提供的用户查询日志,主要是Sogou搜索引擎部分通过网络爬虫抓取到的网页查询需求及用户……
登录APP查看全文
