陈雅婷 段华斌 李娅菲 宋均

摘  要：随着有声读物市场迅猛发展，各类有声读物内容呈现百花齐放的姿态，越来越多的人开始利用碎片化的时间阅读。本文基于Python针对喜马拉雅有声读物各类型读物播放量、粉丝数等进行了可视化分析。

关键词：python;scrapy;数据分析;可视化

由于我国有声读物的市场规模迅速发展，各类有声读物层出不穷，有声读物的内容边界逐渐扩大，不断满足各类用户的需求，但是目前对于有声读物的类型、阅读人群等缺少专业的数据分析，本文主要研究有声读物的数据分析以及可视化的方法，基于Python的Scrapy框架，实现了有声读物数据的可视化分析。使人们直观的了解现阶段有声读物在我国的发展情况，人们喜爱的有声读物是哪些，有声读物的作者可以投其所好创造出更多更优秀的作品。

1 研究设计

1.1 数据来源

本文的数据来源于喜马拉雅FM2020年1月至6月的有声读物数据，含作品信息、作者信息等相关数据，将有声读物数据进行格式转换，转换成易处理的格式化数据并储存至MySQL数据库中进行可视化分析。本文使用到的数据有有声读物类型、有声读物标题、有声读物标签、有声读物播放量、有声读物作者姓名、有声读物作者粉丝数。

1.2 研究方法

本论文基于Python的Scrapy爬虫框架结合Docker、Splash、xpath、MySQL等技术结合实现对于有声读物的数据分析及可视化。

1.3 框架设计

系统框架设计主要分为三部分：网页数据爬取模块，数据处理模块，数据存储模块，如图1所示。网页数据爬取模块中Scrapy引擎通过控制调度器、下载器和Spiders各部分相互配合爬取数据。……