陈伟龙，邱梁泉，张小华（通讯作者）

（仲恺农业工程学院 广东 广州 510225）

1 引言

近年来，随着互联网、云计算、物联网、三网融合等通信与IT技术的迅猛发展，数据的快速增长，信息社会己经进入了大数据时代。本文收集2016年度拉勾网的网页招聘信息作为分析所用数据。数据采集工具使用Python的Scrapy框架，同时配置redis和MongoDB数据库，分别用于爬虫URL池和数据存储。采集的招聘信息中包括数据分析师职位的数据2053行，数据工程师的数据192行，数据科学家的数据65行。

2 数据处理类岗位分析

按照岗位职责和要求差异，将数据处理类岗位分为三类：数据分析师、数据工程师和数据科学家，三种不同职业的定义为：数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”，他们的核心价值在于他们借由清晰数据创建数据管道的能力。数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家。

数据处理类岗位地域分布显示，数据科学职位需求量较多的是北京、上海、深圳、杭州和广州，越是发达的城市越多数据处理人才需求。数据处理类岗位行业分布显示，移动互联网行业职位需求数量为610171，占比51%，居于首位。电子商务次之，占比19%。金融和O2O、企业服务和数据服务排名依次递减。……