吴薛凯 刘天波 胡文馨

摘  要：随着互联网的高速发展，网络信息量呈现爆炸式增长的趋势，利用网络爬虫对大数据进行分析和处理有非常重要的意义。该文以拉勾网为例，利用Python 3.7和MySQL 5.5设计了一个关于Java相关岗位招聘信息的数据采集与存储系统。并且对采集的数据进行多方位分析，为相关行业的就业者在就业选择以及未来规划的时候提供一个有据可依的参照，起到一个就业指导的作用。

关键词：网络爬虫  招聘信息  数据分析  就业指导

Abstract： With the rapid development of the Internet， the amount of network information presents an explosive growth trend， it is important to analyze and process big data by using web crawler. This paper takes LaGou recruitment website as an example， using Python 3.7 and MySQL 5.5 to design a data acquisition and storage system about Java related job recruitment information.And through the multidimensional analysis of the collected data， the use of the analysis results can provide a reference for the employment choice and future planning of the employment and play a role of employment guidance.

Key Words： Web crawler; Recruitment information; Data analysis; Career guidance

Java作为一门成熟的语言，凭借其广泛的应用，深受高校学生以及社会人士的喜爱。该文使用Python语言开发了一套针对爬取Java行业招聘数据的专用爬虫，并对爬取的数据进行处理及分析，这里就以“拉勾网”作为实例，对如何开发爬虫獲取数据，以及对数据的处理、分析做了深入的探讨与研究，为毕业生以及社会求职人士应聘Java岗位提出了宝贵的建议。

1  爬虫设计过程

1.1 需求分析

爬虫的目的是在网站内抽取结构化的、大量的数据，并将这些数据永久保存在计算机硬盘中。该文选择MySQL数据库来保存结构化数据，并使用该数据库对数据进行清洗，再将处理过的数据导出至Excel中，最后利用pyecharts可视化库对数据进行展现和分析。

1.2 爬虫模块化设计

模块化的爬虫程序具有高延展性，因此它能适应不同的应用场景，通过对不同模块进行组合，就能构建出一个完整的网络爬虫系统，并且模块化的程序更加方便测试以及后期维护。……