房金龙

关键词：网络爬虫;自然语言处理;动态企业画像

1绪论

企业级画像系统是以企业为主体，通过对企业规模、经营范围、公司人数、注册资本、财务状况、招聘状态、最新业务动态等信息进行采集和分析，构建出不同标签的企业画像。企业画像的内容可以根据具体的应用场景进行定制化设定。企业画像的标签可以是一个公司的发展阶段（初创、成熟、衰退），可以通过财务状况而判断出来的公司的健康程度，亦可以是公司的发展方向等，从而为B2B业务的企业画像提供更多维度来帮助企业进行精准营销，优化推广渠道，以及实时调整市场战略。在此，尝试利用大数据与机器学习构建一个企业级画像系统，并且实现精准实時地更新企业画像，从而可对以B2B业务为主的公司起到一定的辅助作用。

2数据采集

通过网络爬虫获取实时数据。

（1）爬取网站。由于企业级画像主要会涉及公司信息，目前提供公司信息的主要平台有天眼查、IT桔子、企查查等，而公司的最新动态以及最新科技新闻可通过新浪网、腾讯网、今日头条等获取。这些网站所提供的数据都为公开数据，不存在商业敏感问题，且数据质量较高，还能够提供较为完整的企业信息，但有些网站需付费使用，而有些网站有反爬虫机制，因此需要结合特定的应用场景以及成本预算，选择合适的网站进行爬取。根据数据库的性能以及业务需求，制定合理的爬取范围以及爬取时间，如要实现实时动态的企业画像，则需要较高的数据库配置以及模型训练所需要的内存空间。……