唐青 余金松 林君贤 胡林伟 虞宇翔 薛义博

摘要：自从新冠病毒疫情爆发以来，社会经济教育等方面发生了巨大的改变，在线学习成为了中国大学生学习的主要方式之一。在线学习依托于互联网，其不同于传统的现场教学，本文通过Python编程爬虫搜词、数据清洗、词频统计和聚类分析，使用大数据技术研究目前在线学习中学生体验现状和趋势以及一些未解决的问题。

关键字：网络爬虫;舆情数据分析

1.获取数据源

网络爬虫技术是指一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。本项目为了获取到大量数据需要使用到网络爬虫模拟用户操作向服务端发起请求提取有用的数据存储到本地，其中包括利用Cookie技术模拟用户登录、第三方平台API搜索两种途径，分别从新浪微博、知乎、慕课网、百度贴吧等在线学习平台爬取用户评论数据。考虑到疫情爆发和大学生复学的时间，本项目爬取了2019年1月至6月以及2020年1月至6月的数据，一共获取5万余条数据记录。

2.数据清洗

数据信息的中分词是统计词频的重要步骤之一， 本文使用了python第三方库jieba，jieba是优秀的中文分词第三方库，支持三种分词模式：精确模式、全模式和搜索引擎模式，精确模式可以将语句精确切分，不存在冗余数据，适合本项目做文本分析。经过分词之后，词频中仍然存在大量的无用词语，类似于“那个”、“啊哦”、“这个”等等，所以在统计词频前需要进行数据清洗，即删除停用词。笔者采用的方法是提前创建一个停用词列表“stopwords”，遍历每一条初步分词后的文本数据，如果存在即把这个词删去。……