吴汉龙 梁嘉鹏 余泽汇

（北京师范大学珠海分校 广东省广州市 510080）

1 引言

网络招聘是指通过互联网技术手段帮助企业完成招聘的过程。截至2021年7月30日，共计129万家单位发布1833万次岗位需求。在美国等发达国家网络招聘方式已经普及，成为大学生与在职人员的首要求职方式，中国的网络招聘普及在2008年，并逐渐成为求职中不可或缺的手段，但目前招聘网站针对于大学生的招聘内容仍存在应用范围狭窄、服务体系差、信息处理难等问题。[1]

针对上述问题，本文从招聘网站中提取岗位招聘数据，对薪酬与招聘文本进行多维度分析。通过提取具体岗位技能要求的文本摘要以及对结合城市、学历和工作经验等多维度分析的薪酬分析结果作可视化处理，为大学生提供清晰明了的具体岗位画像，帮助大学生更好的了解具体岗位的要求与发展前景。

2 数据与方法

2.1 招聘数据集描述

本文选择前程无忧作为主要的招聘数据来源网站，以智联招聘及Boss直聘等网络招聘网站为补充。前程无忧作为中国最大的人力资源服务商，截止至2020年9月，日浏览页面超过5亿，拥有数以亿计的用户量以及超过800万的有效职位，能够较好帮助系统搜集大量且丰富的数据。

并使用Scrapy框架设计分布式爬虫，爬虫系统是招聘数据分析系统的关键环节，通过对不同网站的数据爬取为后续的招聘数据分析提供大量时效性强的数据。Scrapy框架基于Python开发，具有数据爬取高效、可拓展性强、包含大量中间件接口，灵活高可用等优点，能够较好完成系统各种需求。……