一种教育舆情的爬虫程序设计
2021-03-30仇明
河北软件职业技术学院学报 2021年1期
仇 明
(江苏旅游职业学院,江苏 扬州225009)
0 引言
中国互联网络信息中心2020 年4 月发布的第45 次《中国互联网络发展状况统计报告》显示,截至2020 年3 月,我国网民规模达9.04 亿,手机网络用户规模达8.97 亿。[1]网络深刻地影响和改变着人们的生活,越来越多的人通过网络获取信息并发表自己的观点和意见。公众开始依赖网络,对与自身利益相关的社会公共事件发表意见、留言,表明态度(即网络舆情)。[2]
随着我国经济的发展和人民生活水平的提高,人们对教育也提出了更高的要求。在网络舆情中,教育类问题往往成为大家关注的对象。近年来,“小升初”“培训机构”“公民统招”等教育措施的出台受到了广泛关注,一些地方政府开通了网上政务,方便群众进行问题反馈。本文尝试使用爬虫程序获取某市寄语市长网站中近三年的教育类留言,统计出一些高频的关键词并绘制词云,获得社会关注的热点教育问题,从而为教育教学改革和教育质量的提高提供依据和参考。
1 程序设计思路
本程序开发采用Python 作为开发语言,Python的版本为3.7.0,相应的开发工具为Pycharm,数据库则采用了SQLite。
Python 是一种既面向过程又支持面向对象的解释性编程语言,它是动态类型化的,无需声明变量类型。Python 便于对大规模数据进行操作与分析,对掌握其他语言的程序员及初学者比较友好。[3-4]
由于Python 语言容易学习,且第三方库丰富,本文采用Python 语言设计爬虫。本次程序获取的是文字数据且数据量较小,所以用SQLite 数据库存储相关数据。……
登录APP查看全文
