陈涛 陈志远

（安徽大学互联网学院 安徽省合肥市 230000）

1 引言

据中国互联网络信息中心（CNNIC）2021 年8 月27 日在京公布的第48 次《中国互联网络发展状况统计报告》统计，我国在线教育用户规模截至2021 年6 月已达3.25 亿。在线教育用户规模在2020 年迎来爆发式的增长，众多机构及资本进入在线教育领域，各种在线教育平台层出不穷，然而由于资本的介入，虚假宣传，低价获客等现象尤为明显。

在当下的在线教育平台模式下用户难以在众多平台中的同类课程中做出选择，部分平台的课程信息对用户的透明度较低，使得用户不能够直观的了解课程质量。如何在快速发展在线教育的同时对在线教育平台和网络课程进行监管，是维护在线教育环境不可忽视的问题。

随着大数据技术的发展，使得收集并应用零散的互联网在线课程信息变成了可能。使用大数据技术对互联网上分散在各个在线教育平台的课程基本信息进行数据采集，对采集结果进行数据分析与可视化，并以此为基础构建一个第三方评价平台，以便于用户快速获取感兴趣的课程以及真实的学习体验与评价信息[1]。本文详细介绍了如何基于Scrapy 爬虫框架+数据可视化构建一个第三方网课评价平台。

2 设计方案

2.1 设计思路

目前，在线教育资源大多分布在各个在线教育平台上，对于普通用户来说很难去收集大量的课程信息进行对比，而作为第三方的网课评价平台，首先要做到的就是将互联网上零散分布的大量在线课程信息收集，清洗，并经过一定的数据分析后提供给用户。……