招聘主题爬虫的设计和应用
2018-12-17邢黎吴茂念
邢黎 吴茂念
摘要: 随着网络技术的发展,面向垂直搜索引擎的主题爬虫因其效率高,搜索结果完备可靠的优势,成为专业化信息搜集的有效手段,这使得主题爬虫在招聘信息的采集方面意义非凡。层次化的爬行策略和网页内容分析算法组成了主题爬虫的基本结构。仅仅搜集数据不够直观,对采集的数据分词并加权并融入搜索引擎使招聘类主题爬虫能快速搜集完备的,可靠的,准确的招聘信息 ,并按网页价值为信息排序,提高实用性和针对性,进而在一定程度上缓解就业压力。
关键词:招聘信息;主题网络爬虫;搜索策略;搜索引擎;
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2018)25-0073-03
Design and Application of Recruitment Topic Crawler
XING Li, WU Mao-nian
(School of Information Engineering, Huzhou 311100,China)
Abstract: With the development of network technology, the theme crawler oriented to vertical search engine has become an effective means for the collection of specialized information because of its high efficiency and complete and reliable search results. This makes the subject crawler remarkable in the acquisition of recruitment information. Hierarchical crawling strategy and web content analysis algorithm constitute the basic structure of the theme crawler. Only collecting data is not intuitive, the collection of data segmentation and weighting and integration into the search engine can quickly collect complete, reliable, accurate recruitment information, and order information according to the value of the web, improve practicality and pertinence, and then alleviate employment pressure to a certain extent.
Key words:recruitment information: topic web crawler; fish search strategy; search engine
随着就业压力日渐增加,搜集并整理出完备的招聘信息可以有效缓解社会压力,主题爬虫在数据搜集方面的专业性完美地适应了这种情况。设计高效的招聘信息主题爬虫无疑具有相当重要的研究价值。
1 就业形势与搜索引擎
近年来,高校毕业生就业难一直是重点话题,随着教育普及程度和教育水平的提高,我国历年大学毕业生人数正在以一个极其高的速度增长,每年都有几百万的大学生走出校门,残酷的竞争下,找不到合适工作的人比比皆是。同时在经济全球化的影响下,决定经济稳定的因素日益增多,国内经济形势严峻,经济增速下滑,严峻的经济条件淘汰了大量的企业,同时也带走了大量的工作岗位。又加重了广大毕业生的就业压力。招聘主题爬虫旨在帮助求职者快速获取各类招聘信息,進而找到合适的工作,减轻社会压力。……
