浅析Python爬虫获取数据实现调查研究的应用*
2021-06-03张勇常骁毅蒿花耿辉通讯作者
科学与信息化 2021年14期
张勇 常骁毅 蒿花 耿辉(通讯作者)
1. 西安交通大学第一附属医院国有资产管理办公室 陕西 西安 710061;2. 西安交通大学第一附属医院体检部 陕西 西安 710061
随着大数据时代的来临,数据规模、类型呈几何式增长,为从海量的信息数据里获取有价值的数据,衍生了网络爬虫,这是一种按研究人员设定获取信息源的规则,根据一定的算法编程实现自动地抓取网络信息数据的程序,研究人员获取到这些信息数据后,再进行数据清洗、加工,构建信息调查的信息数据基础。本文在已发表的文献的基础上,介绍Python构建爬虫获取数据进行信息调查的过程。
1 示例数据简介
本文以Emma等[1]2017年发表的信息调查“阿尔茨海默病患者及护理人员在网络社区寻求解决方案和情感支持”为例,介绍Python爬虫实现信息调查的方法。该研究的过程分为3个阶段,第一阶段使用以Python编程语言编写爬虫获取从2012年4月至2016年10月在alzconnected.org的Caregiver论坛中公开的2500个帖子及其各自的解决方案,第二阶段对这些帖子及其4219份回复进行了分析,第三阶段对分析的结果进行描述,大多数帖子(26%)与阿尔茨海默症症状的查询有关,而最高比例的答案(45.56%)与照顾者的健康状况有关。alzconnected.org网站有可能成为护理人员的情感支持渠道,但是,需要一个更加友好的界面来满足大多数护理人员分享技术技能等的需求。
2 Python构建爬虫的准备工作
首先登录网站分析网站结构,第一步获取初始的URL,初始URL地址可以人为地指定,也可由研究人员指定的某个或某几个目标网页决定;……
登录APP查看全文
