APP下载

数据驱动下高校毕业生就业管理服务系统设计研究

2021-11-28赵鹏飞

科技资讯 2021年19期
关键词:数据驱动高校毕业生数据采集

赵鹏飞

摘  要:在高校毕业生人数逐年递增的大背景下,高校获取的岗位信息与就业市场的需求不对称的矛盾越显突出。现阶段大数据技术迅猛发展,开发数据驱动下的高校毕业生就业管理服务系统既可以为高校毕业生提供精准的就业岗位推荐服务,又可以通过数据分析功能为高校学科专业设置和就业指导工作提供相应依据,具有切实的理论和现实意义。

关键词:数据驱动   高校毕业生   岗位推荐   数据采集

中图分类号:TP311.52                     文献标识码:A文章编号:1672-3791(2021)07(a)-0099-03

Abstract: Under the background that the number of college graduates is increasing year by year, the contradiction between the job information obtained by colleges and universities and the demand of the job market is becoming more and more prominent. At this stage, with the rapid development of big data technology, the development of data-driven employment management service system for college graduates can not only provide accurate employment recommendation services for college graduates, but also provide corresponding basis for discipline setting and employment guidance in colleges and universities through data analysis function, which has practical theoretical and practical significance.

Key Words: Data driven; College graduates; Job recommendation; Data Collection

1  背景

近些年,我國的高等教育发展迅速,招生人数逐年递增,造成每年毕业生的数量增长迅猛。2001年全国大学毕业生数量约114万,到了2021年,全国高校毕业生总人数已达到909万,短短20年间翻了近8倍。2020年的统计数据显示,全国高等教育的毛入学率达到54.4%,已经实现了从大众化到普及化的阶段,全国高校在校生人数突破4 000万。每年高考报名人数也是逐年增长,2021年全国高考报名1 078万人,据此分析,在未来几年内的大学毕业生还会延续增长势头。与之相对应的是,全社会所能提供的就业岗位增幅远远没有达到高校毕业生数量的增幅,就业市场依然呈现“供大于求”的买方市场。“就业难”问题已经成为国家和全社会共同关注的一个重要问题。

造成目前这种矛盾的原因,最重要的是结构性矛盾。就业单位对于招聘岗位的需求与大学毕业生的能力存在很大差异性,这种差异给大学毕业生在求职上造成很大困难。如何解决这一结构性矛盾,让二者相互适应,提高大学生就业核心竞争力,是整个高等教育界亟待解决的问题。

国内很多高校都通过提高就业服务来缓解这一矛盾,通过建设高校毕业生就业管理服务系统来对就业相关的信息进行采集、处理、分析、推荐和辅助决策功能。通过就业管理服务系统,高校就业指导管理部门可以通过采集到的学生信息和就业岗位信息进行比对,通过多角度的精准策略匹配,将适合某一毕业生的岗位精准推荐给本人,帮助毕业生找准自身定位,避免盲目就业,实现理性就业。同时,就业管理服务系统通过采集到的就业单位和就业岗位信息,能够预测出当下和未来一段时间内就业市场的需求导向,这些信息需要反馈给高校教学部门做决策依据,调整专业设置和学科布局,提高所修课程与就业岗位的匹配度,提高毕业生的就业能力,进而提高高校的就业率和毕业生的就业质量。

数据驱动下的互联网开辟了招聘的新渠道[1-2]。调查结果显示,2019年有超过480多万的用人单位通过互联网招聘,方便快捷地为求职者提供了大量的就业岗位信息,大数据技术把招聘引入了信息化时代。互联网招聘平台的广泛应用,海量的就业岗位信息扑面而来,无关和无效的信息很多。在大规模复杂的就业信息中过滤出适合自身的工作岗位,需要通过大数据计算功能针对不同求职者进行个性化推荐。另外,高校毕业生就业情况回访不容乐观,毕业生的参与度非常低,高校无法掌握毕业生职业发展动态。造成高校的学科和专业设置不能紧随市场变化而调整,毕业生就业能力与社会实际需求对接不畅。所以,高校毕业生需要通过一个就业管理服务系统找到适合自己的岗位。另外,高校需要通过就业管理服务系统获取到社会需求信息,用这些信息来辅助决策,包括学科专业设置、课程体系建设、培养方案制订、就业指导方向等工作。现阶段,各高校基本都有就业数据管理系统,但是大都功能简单、传统,无法满足海量数据处理,效率较低。所以,设计开发一个数据驱动下的高校毕业生就业管理服务系统势在必行。该系统不仅可以管理传统的结构化数据,同时也可以对于各种非结构化数据进行处理,将其格式化、归类等操作,对每个毕业生不同情况数据进行分析,将适合的就业岗位进行个性化的推荐。同时,高校也将收集到的招聘信息进行深度数据挖掘,从中分析当前就业市场情况,预测未来就业导向,根据分析结果对该校学科专业建设做出科学的调整和规划,辅助高校决策。

2  研究框架

2.1 Spark数据处理框架

Apache Spark由美国加州大学伯克利分校的AMPLab实验室于2009年研发,用于提高数据处理速度、易用性、海量数据迭代运算和复杂分析功能的数据并行计算处理框架,2010年该框架成为Apache的众多开源项目之一。由于大量开发者和用户的使用,围绕Spark框架形成了一个数据处理生态圈。

2.2 硬件环境

数据驱动下高校毕业生就业管理服务系统设计研究(以下简称系统)的运行须架设3台服务器保障其顺畅运行[3-4]。每台服务器均配置了Spark、Kafka和Flume框架,分别负责提供Web运行服务、数据采集服务和具体业务服务。Web运行服务器提供Web系统访问服务,可以为用户提供友好的访问界面和功能;数据采集服务器用于从网络中采集就业岗位信息;具体业务服务器用来用来管理和分析就业岗位信息,具体内容如图1所示。

2.3 软件环境

系统在Linux操作系统下运行,版本为Ubuntul6.04。数据采集功能的开发框架是Python语言的Scrapy框架,数据库系统采用MongoDB来存储数据。具体业务服务器在Spark、MLlib、Spark Streaming组件下开发设计,并使用Flume、Zookeeper、Kafka等开发软件。

3  系统总体功能设计

数据驱动下的高校毕业生就业管理服务系统根据其功能可划分为四大模块,分别为用户信息管理模块、数据采集模块、岗位推荐模块、数据分析模块。每个模块下又分别有若干子功能。

3.1 用户信息管理模块设计

该模块的功能用于用户的注册和登录服务,对于用户信息管理和关于用户信息的各种配置功能[5-6]。整个系统采用B/S模式设计,用户界面友好。当新用户初次打开系统主界面时,必须注册个人信息。系统采用邮箱、密码和验证码三重认证注册模式,当新用户正确填写之后,系统会将一个带有校验功能的邮件发送到新用户注册的邮箱地址中,新用户打开邮件并进行激活,这时就注册完成了。注册完成后,即可登录系统,如遗失密码,可点击“忘记密码”进行找回。找回后再次登录,更新密码。系统会自动比对用户名和密码,完成登录。

登录系统后,进入用户个人信息界面,用户可以进行编辑和修改个人信息,制作和修改个人简历,收藏部分就业岗位信息等操作。此模块中还设计系统与用户交互功能,用于接收系统发送的消息,并且可以发送消息给系统管理员。

3.2 数据采集模块设计

该模块的功能主要由采集参数配置功能、数据采集功能和数据预处理功能组成,在这3个功能中,数据采集功能和数据预处理功能是系统内嵌功能,在后台自动运行,需要进行交互的只有采集参数配置功能,系统管理员可以通过配置Python网络配置爬虫的参数来完成数据采集和预处理工作。可配置的参数如下。

3.2.1 是否多线程采集

采用多线程采集会大大提高数据采集效率,但非常耗费系统资源;如不采用多线程则节省系统资源,但会影响采集的效率。

3.2.2 是否定时爬取

系统提供设置定时爬取数据开关,可以根据网络负载时段来配置爬取时段,以免影响正常网络运行。

3.2.3 选择数据来源

系统提供岗位信息数据来源设置,可以专门针对某些网站进行采集。

3.2.4 设置岗位数量

系统提供针对岗位类别、岗位区域设定数量采集。

3.3 岗位推荐模块设计

该模块的功能是将岗位精准地推送给毕业生用户,包括离线推荐和实时推荐两种模式。

3.3.1 离线推荐

离线推荐是基于用户在系统上制作的简历为数据来源,根据简历中的个人信息与采集到的岗位进行精准匹配,为毕业生用户推荐岗位列表。

3.3.2 实时推荐

实时推荐的数据来源于用户实时日志文件。系统通过推荐引擎分析用户日志,将当前热门岗位列表实时推荐给毕业生用户。

3.4 数据分析模块设计

该模块的功能主要是针对岗位信息进行分析。由数据采集模块采集到的岗位信息包含很多重要隐含信息,通过数据挖掘算法,从中可以获取到当前招聘市场的热点,从而辅助高校的教学、科研和就业指导工作。

3.4.1 就业热点分析功能

对采集到的岗位介绍文本内容通过其主题进行聚类分析,提取出磁盘最高的热点信息,经过数据可视化功能呈现出来,辅助高校对于学科和专业方向做出及时调整,以适应就业市场需求。

3.4.2 关联规则挖掘功能

在岗位信息关联挖掘功能中,毕业生用户可按照单位类型、所在地区、产业趋势、薪酬水平等变量通过FP-Growth算法进行挖掘活动,得到各变量的关联性分析。

3.4.3 数据统计分析功能

该功能是针对采集到的岗位信息进行全面统计分析,得到岗位信息中的学历变量、薪酬变量和工作经验变量进行统计、分析,通过数据可视化工具展示出来,供毕业生用户参考。

4  结语

该文论述了数据驱动下高校毕业生就业管理服务系统的設计与开发,主旨是为了解决高校毕业生就业岗位推荐不精准和高校获取就业市场信息不明确的问题。通过该系统对海量就业岗位数据的采集、统计、挖掘、分析和可视化等功能,给高校毕业生和高校就业管理人员提供基于数据的决策辅助,提高了高校的就业管理和服务水平。

参考文献

[1] 韩茹,刘建栋.当代大学生面临的就业困境及解决途径分析[J].理论观察,2019,1(9):139-41.

[2] 汤志鸿.面向高校大学生的职位推荐系统的功能设计与实现[D].南京:南京邮电大学,2019.

[3] 田宁.基于大数据的高校就业信息服务系统的设计与实现[D].石家庄:河北科技大学,2020.

[4] 雷远.高校学风建设在微信平台的应用探究[J]智库时代,2019(3):178,180.

[5] 蒋漪涟,王胜,宋凯.基于Web的分布式教学资源库系统的研究与实现[J].自动化技术与应用,2018,37(9):47-51.

[6] 刘海滨,杨晓慧.高校大学生智慧就业服务体系构建研究[J].思想政治教育研究,2018,34(2):148-154.

猜你喜欢

数据驱动高校毕业生数据采集
基于网络与数据智能化的数码印花产品设计定制模式研究
数据驱动理念在大学英语课程中的应用
大数据背景下的警务模式创新研究
做好高校毕业生档案转递工作的几点体会
浅谈高校毕业班管理工作中的细节之处
高校毕业生如何应对求职过程中的笔试
基于广播模式的数据实时采集与处理系统
通用Web表单数据采集系统的设计与实现
基于开源系统的综合业务数据采集系统的开发研究
内蒙古自治区高校毕业生就业指导服务体系建设及对策研究