于营东

（上海建工集团工程研究总院，上海 201114）

0 引言

现阶段集团各子公司的科技资讯主要发布在各自的微信公众号上，无法实现集团内部的科技资讯共享。 为实现集团内部的科技资讯共享，需开发科技资讯共享平台，将各子公司微信公众号的科技资讯信息采集后存储起来。

1 总体设计

基于Python+MySQL 的科技资讯采集服务的设计与实现，要求实现定时数据抓取功能，数据可视化和检索功能。 实现对集团内部微信公众号的数据采集，然后对采集到的数据进行分析和处理， 最后存入MySQL 数据库中，方便后续的检索和查看。 对于数据采集，要先获取到公众号的菜单，通过菜单获取到具体的文章分类， 再通过文章分类获取到文章列表，然后根据文章列表中的文章地址获取文章内容。总体流程如图1 所示。

数据采集是基于HTTP 协议的， 核心步骤主要包括HTTP 协议请求报文、HTTP 响应报文及数据解析过程。 根据系统数据采集采集操作、数据采集、任务调度及数据存储4 部分功能结构相关关系，采集流程为：

（1） 按照采集页面的查询参数进行采集参数设置，如时间、区域等参数，一般为全数据采集，确定参数后进行进行HTTP 请求报文（从客户向服务器发送的请求报文）组装，HTTP 请求报文由请求行、请求头部、空行和请求数据4 个部分组成。

（2）组装好请求报文后，客户端向服务的发送报文请求，其根本操作就是按照请求报文内容的请求对应的URL 地址发送去搬过去，URL 地址和报文头的Host 属性组成完整的请求URL。……