基于网络爬虫结合关联大数据的用户信息提取
2021-11-17刘多林
计算机仿真 2021年8期
刘多林,吕 苗
(沈阳理工大学,辽宁沈阳110159)
1 引言
互联网用户数量不断增加,当用户在QQ、淘宝、微信等线上,使用不同互联网业务时,其产生的数据量也急剧增大,在大量数据中提取用户信息,将同一用户数据分离出来,能够帮助企业推断网络业务的发展趋势,通过用户收藏、转发、点击等行为的总结,及时了解用户的潜在需求和最新需求,对企业方案进行调整,将获取信息转化为企业盈利[1]。但在庞大数据中,用户关系较为复杂,且信息存在很多不完整的数据,因此对用户信息提取进行研究,整合同一用户的产生数据,具有重要的现实意义。国外信息提取研究较为成熟,针对用户身份的关联关系,将其抽象为统一框架,从中提取用户特征,包括用户名、教育信息、行为活动、兴趣轨迹等,然后利用网络爬虫技术,提取用户数字身份的自我网络,得到一个完整的社交网络,获取用户的局部网络信息和全局网络信息。国内信息提取研究也较为成熟,在源网络和目标网络中,计算每个用户身份的关联分值,通过正则表达式匹配的方法,迭代匹配用户身份,得到用户信息的潜在特征,分析潜在特征的社交网络特性,由于用户各个业务之间存在数字身份关联,将关联问题抽象为一个二分类问题,从用户上网行为的角度,预测属于同一用户的数字身份,从中提取用户信息[2]。在上述理论的基础上,提出基于网络爬虫结合关联大数据的用户信息提取方法,在关联大数据的范围内,自动抓取用户搜索网页的主题标签,节省信息数据后续处理的空间开销。……
登录APP查看全文
