APP下载

基于Hadoop平台的用户网络行为系统设计

2016-04-07严春景谢胜利

电脑知识与技术 2016年3期
关键词:数据挖掘

严春景 谢胜利

摘要:网民借助于网络工具进行的一切操作都会产生大量的有用数据,尤其是在当下电商的迅猛发展局势下,利用数据挖掘技术分析这些数据有助于提出更好的推荐系统和广告设置。该文就基于目前的研究现状分析并设计以Hadoop大数据平台为依托,采用K-means算法实现本系统。

关键词:数据挖掘;网络行为;Hadoop大数据

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2016)03-0049-02

据《中国移动互联网用户行为统计报告2015》一文中的数字显示,截至2014年,中国移动互联网用户规模达7.29亿,其中社交、娱乐、实用工具以及阅读类应用用户占比超过70%,出行旅游、消费(实物)类应用用户占比大于40%[1]。网络世界里充满着多方面的信息和数据,如何通过分析这些数据来发掘用户的潜在需求,为用户推荐更好的产品或服务是当前电子商务的一大营销策略。本文从云计算技术和聚类算法的两个角度来设计用户行为分析系统,希望能为电商系统的精准营销做出贡献。

1系统流程

本次研究主要是围绕如何在Hadoop分布式处理平台之上,借助云计算的方法来研究网络用户的行为而展开的。利用网络用户行为所产生的海量的日志数据构建大数据环境,借助Hadoop分布式处理的框架和聚类算法等挖掘出相应的信息。

1.1数据提取

本系统针对网购用户的行为进行分析,数据来源于搜狗实验室所提供的用户查询日志,主要是Sogou搜索引擎部分通过网络爬虫抓取到的网页查询需求及用户……

登录APP查看全文

猜你喜欢

数据挖掘
基于数据挖掘的船舶通信网络流量异常识别方法
探讨人工智能与数据挖掘发展趋势
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
基于并行计算的大数据挖掘在电网中的应用
数据挖掘技术在中医诊疗数据分析中的应用
一种基于Hadoop的大数据挖掘云服务及应用
数据挖掘在高校图书馆中的应用
数据挖掘的分析与探索
基于GPGPU的离散数据挖掘研究
利用数据挖掘技术实现LIS数据共享的开发实践