李明建，赵旭生，谈国文，宋志强，廖成

(1.瓦斯灾害监控与应急技术国家重点实验室， 重庆 400037；2.中煤科工集团重庆研究院有限公司， 重庆 400037)

0 引言

煤矿瓦斯灾害影响因素众多，防治难度较大，是当前和未来影响我国煤与瓦斯突出矿井及高瓦斯矿井安全生产的最主要威胁之一[1]。国家及地方各级煤矿安全监管监察部门持续加大力度对辖区内煤矿进行综合或瓦斯安全专项安全执法检查。随着煤矿安全执法装备及技术的快速发展，监管监察执法人员技术装备已大量投入应用，但在执法检查工作安排及执法对象重点筛查方面，当前尚未有先进、成熟的装备系统大量投入应用。如何快速、准确地筛选区域内部分煤矿作为执法检查重点煤矿，确定瓦斯安全执法检查工作重点，很大程度上决定了监管监察执法检查工作效率。

近年来，国家、地方政府及煤炭企业对煤矿瓦斯治理的投入稳步增加，煤矿瓦斯灾害预警技术引起了相关科研单位高度重视，出现了一些面向单座煤矿的瓦斯灾害预警技术及系统[2-4]，并得到了较好的推广应用，一定程度上提高了煤矿瓦斯灾害风险预警与防控能力。但面向各级煤矿安全监管监察部门、矿业集团公司，对特定区域内所有煤矿瓦斯灾害风险进行宏观、超前预警(即区域煤矿瓦斯灾害风险预警)的相关技术及系统研究尚处于起步阶段[5-6]，少有成功应用案例。

研究面向省区级、地市级、县级或煤矿区的区域煤矿瓦斯灾害风险预警技术及系统，可为各级煤矿安全监管监察部门提供快速精准的执法检查辅助决策工具，为矿业集团公司提供内部瓦斯灾害风险预警与自查工具，已成为当前煤矿安全监管监察技术领域发展趋势之一。区域煤矿瓦斯灾害风险预警以区域内外所有影响因素涉及的数据的有效采集为基础，因此，本文分析了区域煤矿瓦斯灾害风险预警基础数据的特征及其分类，针对各类型的基础数据研究了相应的数据采集技术，并设计了区域煤矿瓦斯灾害风险预警数据采集系统。

1 风险预警基础数据特征

区域煤矿瓦斯灾害风险预警基础数据具有以下特征：

(1) 数据来源广泛。不仅包括区域内各煤矿的安全监控系统实时数据、煤矿瓦斯灾害预警结果及指标数据，还包括区域内各煤矿所处自然环境、生产系统、瓦斯防治等煤矿固有影响因素相关数据，甚至还包括区域外部的国家宏观经济环境数据、区域内外煤矿瓦斯灾害事故数据、全国及区域所在煤矿安全监管监察部门政策法规发布力度、执法检查强度等。上述特征决定了区域煤矿瓦斯灾害风险预警数据采集技术和系统必须适应互联网环境。

(2) 数据格式多样。既有大量以结构化方式存储的关系数据，也有非结构化存储的技术文档、图像、视频、声音等数据，还有以半结构化方式存储的网页、文本文件等数据。

(3) 数据的时间和空间维度、属性各不相同。从时间维度来说，既有以秒、分钟为单位存储的实时监测数据，也有以班或天为单位存储的瓦斯突出参数检测、井下现场观测数据，还有以旬、月存储的安全检查统计数据。从空间维度来说，既有来源于区域内各个煤矿的明细数据，也有区域所处各级煤矿安全监管监察部门的汇总数据，还有来源于全国宏观经济及煤矿安全态势的统计数据。

综上所述，区域煤矿瓦斯灾害风险预警基础数据具有多源、异构、海量、多维等特征，数据采集和存储面临以下技术问题：① 信息采集不全面，仅仅关注区域内具体煤矿的信息，而忽略了区域外部的影响因素相关数据。② 主要采集结构化数据，很少采集技术文档、网页、音频、视频等半结构化或非结构化数据，信息采集模式单一、维度固化。③ 缺少有效的数据预处理方法，导致信息质量不高，集成度低，加工利用难度大。上述问题严重影响了区域煤矿瓦斯灾害风险预警的准确性和及时性，因此，亟需研究适用于互联网环境的风险预警数据采集技术，实现风险预警信息的全面、准确、及时采集和有效存储，为区域煤矿瓦斯灾害风险预警提供可靠的数据资源。

2 风险预警基础数据分类

根据系统论及事故致因理论研究成果，影响区域内瓦斯灾害风险态势的因素不仅包括单个煤矿的自然环境风险因素、生产系统风险因素、瓦斯防治风险因素等直接因素，而且包括所在区域乃至全国的宏观经济环境、煤炭价格及供需关系、安全监管监察影响因素及区域内外瓦斯事故情况等间接因素，统称宏观安全环境风险因素[7-8]。为表征区域煤矿瓦斯灾害风险态势，需全面、准确、及时采集所有影响因素相关数据，在此基础上提取风险预警指标，在风险预警模型驱动下生成风险预警指数，进而划分预警等级。基于上述分析，区域煤矿瓦斯灾害风险预警基础数据按其表征内涵可分为区域内矿井自然环境风险数据、区域内矿井生产系统风险数据、区域内矿井瓦斯防治风险数据、宏观安全环境风险数据4类，如图1所示。

图1 区域煤矿瓦斯灾害风险预警数据分类Fig.1 Classification of gas disaster risk early warning data in regional coal mines

(1) 区域内矿井自然环境风险数据包括矿井瓦斯等级、煤层最大瓦斯含量、最大瓦斯压力、最大开采深度、地质构造复杂程度、突出煤层稳定程度、突出煤层厚度最大变化率、矿井绝对瓦斯涌出量及相对瓦斯涌出量等。

(2) 区域内矿井生产系统风险数据包括矿井“四量”(开拓煤量、准备煤量、回采煤量、抽采达标煤量)合规程度、矿井采掘部署合规程度、矿井采掘机械化水平、矿井采掘工作面数量及防突工作面数量、石门揭煤或上山掘进等高风险采掘工程数量、矿井通风能力变化率及矿井重大通风隐患数量变化率等。

(3) 区域内矿井瓦斯防治风险数据包括安全监控系统故障次数、矿井瓦斯超限总次数、工作面平均瓦斯超限次数、矿井瓦斯抽采浓度变化率、防突工作面瓦斯抽采达标率、防突工作面日常预测平均超标次数、采掘工作面进度变化率、“一通三防”隐患及违章次数、矿井瓦斯灾害预警红色平均次数等。

(4) 宏观安全环境风险数据包括反映宏观经济运行状态的制造业采购经理指数(PMI)、工业生产者购进价格指数(IPI)、工业生产者出厂价格指数(PPI)，反映煤炭价格及供需关系的中国煤炭价格指数(CCPI)，反映季节及节假日影响的历年月度瓦斯事故次数、历年各节假日期间瓦斯事故次数，以及反映安全监管监察力度的行业法规修制订数量、级别、综合或专项执法检查次数等数据。

从数据来源及信息特征角度来说，自然环境风险数据和生产系统风险数据一般来源于具体矿井基本情况及中长期规划，具有静态特征，变化频率较低；瓦斯防治风险数据主要来源于煤矿安全监控系统和瓦斯灾害预警系统，大多具有动态特征；而宏观安全环境风险数据主要来源于互联网，大多具有动态特征。此外，区域煤矿瓦斯灾害风险预警系统一般运行于煤矿安全监察部门政务内网或矿业集团公司局域网，与相关煤矿或门户网站间的数据传输主要通过互联网或虚拟专用网络(VPN)等公共网络，因此，应重视区域煤矿瓦斯灾害风险预警数据采集的网络安全。

2.6.2 综合质量评分 以上述2个主成分因子对10批药材样品质量进行综合评分，结果见表8。由表8可知，S7药材样品主成分因子综合得分最高，该批样品中成分1、2、5、6、9、10、11的含量相对较高，整体质量相对较好综合得分越高表示药材样品整体质量越好[9]）。

3 风险预警典型数据采集技术

在影响区域煤矿瓦斯灾害风险的各类数据中，矿井瓦斯防治风险数据对区域煤矿瓦斯灾害风险有直接影响，而宏观安全环境风险数据采集技术较为复杂。因此，本文分别以矿井瓦斯防治风险数据中具有结构化特征的煤矿安全监控及瓦斯灾害预警数据、宏观安全环境风险数据中具有半结构化特征的监管监察执法检查数据为例，详述2种数据采集技术。此外，对具有非结构化特征的煤矿音视频监控数据采集技术现状进行了简要说明。

3.1 煤矿安全监控及瓦斯灾害预警数据采集技术

经过多年的研究与实践，煤矿安全监控系统实现了井下所有重要场景的全面感知、数据准确传输、信息融合，不仅在煤矿安全生产中发挥了重要作用[9]，而且是煤矿瓦斯灾害预警的重要数据来源[10]。准确、可靠、及时采集与瓦斯灾害风险预警相关的安全监测数据，一方面要满足安全监控系统的安全管理要求，另一方面要适应具体矿井的网络环境要求，同时还要满足区域煤矿瓦斯灾害风险预警模型的要求。当前煤矿安全监控系统典型的数据共享技术有文本交换文件、数据库直接访问、OPC、Web Service等，其中文本交换文件具有格式简单、透明传输、解析方便等特点，为煤矿安全监控系统所必备[11]。基于文本交换文件的安全监控数据采集技术虽然简单，但仍然需要解决读写锁定、完整性校验、变化监测等技术问题。

煤矿瓦斯灾害预警系统所生成的预警结果信息是实现区域煤矿瓦斯灾害风险预警的重要信息支撑。煤矿瓦斯灾害预警系统的预警结果具有“正常定时发布，异常及时发布”的时间特性，全面、准确、及时地采集煤矿瓦斯灾害预警结果信息应采用定时检测与变化捕获相结合的策略：对于采掘工作面基本档案、工作面采掘进度等信息，可使用后台定时器提醒,每天在检修班次定时采集上传；而对于实时生成发布的预警结果，则可采用消息队列、数据库变化数据捕获(CDC)[12-13]等技术采集上传。

综合煤矿安全监控信息和煤矿瓦斯灾害预警信息特征，上述数据采集子系统应满足无侵入、跨网络、高时效性、运行环境多样等系统约束，在系统设计时应选用兼容性好、环境适应能力强、具有较好并发控制能力的软件架构及软件实现平台。在现代软件架构历史上，经历了C/S和B/S架构、面向组件架构、面向服务架构3次大的变革[14]，因Web服务具有自包含、自描述、组件化等优势，现已成为面向服务架构最主要的实现方法。但传统Web服务采用XML格式的SOAP协议，对调用客户端要求较高，因而也限制了其跨平台能力；新一代Web 应用程序接口(Web API)采用比SOAP协议更底层的纯文本格式http协议，相比传统Web服务来说，对调用者要求更低、跨平台能力更强，因而成为面向服务架构的最新发展趋势。

根据上述分析，煤矿安全监控及瓦斯灾害预警数据采集子系统采用基于跨平台Web API的面向服务软件架构，总体分解为预警数据采集上传服务模块和采集上传客户端程序2个部分，如图2所示。

图2 煤矿安全监控及瓦斯灾害预警数据采集子系统架构Fig.2 Framework of safety monitoring and gas disaster early warning data collection subsystem

(1) 预警数据采集上传服务作为服务提供者，接收来自包括浏览器及智能手机在内的跨平台客户端调用，并与风险预警采集数据库进行交互；采用.NET Core跨平台框架及C#语言开发，使用JWTBearer中间件实现安全认证，使用Entity Framework Core实现数据持久化；采用跨平台Web API架构的预警数据采集上传服务模块部署环境灵活，既可部署于Windows操作系统Web服务器中或承载于Windows控制台程序，也可部署至Linux操作系统，具有跨平台、服务结构简单、客户端兼容性好等技术优势[15]。

(2) 预警数据采集上传客户端程序作为服务的消费者，用于定时或不定时通过http协议调用预警数据采集上传服务模块的相应方法，将安全监控系统数据和瓦斯灾害预警系统数据上传至区域风险预警采集数据库。在部署时可根据安全监控系统或瓦斯灾害预警系统所在计算机环境需求，采用不同的开发及运行模式，例如Windows Form、WPF(Windows Presentation Foundation)程序、智能手机应用程序(App)，甚至简单的HTML网页程序。上述采集子系统所研究的软件架构技术也适用于其他类型风险数据采集子系统。

3.2 宏观安全环境风险数据采集技术

宏观安全环境风险数据来源较为复杂，但基本上都能从互联网上找到来源：反映国家宏观经济运行态势的指标可从国家统计局统计数据网站(http://data.stats.gov.cn/)获取；反映煤矿价格及供需关系的数据可从秦皇岛煤炭网(http://www.cqcoal.com/exp/exponent.jsp)或商务部商务播报(http://cif.mofcom.gov.cn/cif/html/)中获取；反映所在区域煤矿安全监管监察力度及安全检查执法力度的数据可从各省煤矿安全监察局网站获取；瓦斯灾害事故统计数据可从国家煤矿安全监察局及地方煤矿安全监察局网站事故通报、事故调查板块获取。

上述宏观安全环境风险数据可定时通过人工查询相应网站、搜索相关指标并获取指标信息完成采集。为了提高采集效率及准确性，可采用网络爬虫技术从相关网站自动下载原始网页，消除噪声后通过主题词提取有用信息并存储至风险预警采集数据库。网络爬虫也称为“蜘蛛”，可以自动化浏览网络中的信息，其主要作用是在海量的互联网信息中爬取并保存有效信息[16]。网络爬虫按照实现技术及目标可分为通用网络爬虫、主题网络爬虫、增量式网络爬虫和深层网络爬虫4类。其中主题网络爬虫可按给定的主题、带优先级的URL列表及终止条件有目的地进行爬取，其系统结构分为主题URL队列管理模块、页面提取模块、页面分析模块、主题相关性计算模块、主题URL评价模块、页面存储模块[17]。现以通过主题网络爬虫获取山西省煤矿安全监察局执法检查数据为例，阐述互联网环境下宏观安全环境风险数据采集过程，如图3所示。

图3 煤矿安全监管监察执法检查数据采集流程Fig.3 Data collection process of coal mine safety supervision, law enforcement and inspection

通过主题网络爬虫获取山西省煤矿安全监察局执法检查数据的主要步骤如下：

(1) 主题网络爬虫以山西省煤矿安全监察网主页作为初始URL种子，向下爬取与给定主题词匹配的“政务信息”“煤监月报”“执法情况”，获取煤监月报、执法情况等URL列表。

(2) 通过Chrome、Firefox等浏览器内核发送http请求，接收返回的页面内容，保存到主题网页库，从中进一步提取URL并放入主题URL列表。

(3) 从URL列表中检索执法统计附件URL，重新发起请求并下载附件。

(4) 将网页内容及附件信息发送给主题信息二次加工模块，通过Python xlrd模块提取各分局应监察煤矿数、实际监察煤矿数、发现隐患数量、整改隐患数量等以电子表格发布的半结构化数据，经质量估计后调用Python pymssql模块保存至区域煤矿瓦斯灾害风险预警采集数据库。

3.3 煤矿音视频监控数据采集概述

视频和音频监控数据是典型的非结构化数据。煤矿井下重要作业场所音视频监控是煤矿的“顺风耳”“千里眼”，不仅是智能化矿井设计、建设、验收的重要标准之一，也是进行远程监管监察、人员违章识别、安全风险预警的重要数据来源之一。

根据GB/T 34679—2017《智慧矿山信息系统通用技术规范》、GB/T 51272—2018 《煤炭工业智能化矿井设计标准》要求，煤矿井下图像监控系统必须提供实时调用、保存和回放的二次开发接口，生产系统必须具备音频、视频监控，实现无人值守的系统应与音频、视频监控联动。另外，根据2015年发布的《国家安全生产监管信息平台总体建设方案》，国家安监总局已建成全国煤矿安全生产大数据平台，主要产煤省煤矿安全监察局已经初步建成了省级煤矿事故分析平台，实现了煤矿工业视频监控数据采集联网上传功能。上述行业标准和规范的出台实施、基础信息工程的建成使用，为区域煤矿瓦斯灾害风险预警典型非结构化数据采集提供了关键数据支撑，大规模音视频数据采集不再成为技术难题。当然，从海量音视频中提取对煤矿瓦斯灾害风险预警有用的信息，是区域煤矿瓦斯灾害风险预警系统的重要研究课题和技术难题，本文不再详细阐述。

4 系统实现及现场试验

在重点研究煤矿信息自动采集技术和互联网宏观安全环境风险数据采集技术的基础上，设计了区域煤矿瓦斯灾害风险预警数据采集系统。该系统包括自动采集数据的煤矿安全监控及瓦斯灾害预警数据采集上传子系统、用于人工录入的煤矿安全基础数据录入子系统、基于网络爬虫的宏观安全环境风险数据采集子系统、风险预警数据采集服务器及风险预警数据采集管控子系统等，系统结构如图4所示。

区域煤矿瓦斯灾害风险预警数据采集系统作为煤与瓦斯突出灾害风险远程预警平台的重要组成部分，在山西省阳泉矿区进行了现场试验。在现场试验过程中，全面采集了阳泉矿区5对矿井的安全监控系统及突出灾害预警数据、自然环境风险因素、生产系统风险因素以及瓦斯防治风险因素等基础数据。宏观安全环境风险数据主要从国家统计局统计数据网、国家煤矿安全监察局及山西煤矿安全监察网中爬取。现场试验运行效果如图5所示。

图4 区域煤矿瓦斯灾害风险预警数据采集系统结构Fig.4 Structure of data collection system of gas disaster risk early warning for regional coal mines

图5 阳泉矿区瓦斯灾害风险预警数据采集试验效果Fig.5 Test effect of gas disaster risk early warning data collection in Yangquan mining area

由图5可见，在突出风险预警信息板模块中全面显示了宏观安全环境风险数据、矿井安全监控及瓦斯灾害预警数据、矿井自然环境风险数据、矿井生产系统风险数据及瓦斯防治风险数据等当期采集条数、同比及环比变化率。系统管理人员可方便地获知区域煤矿瓦斯灾害风险预警数据采集系统运行状态。数据采集系统实现了互联网环境下阳泉矿区煤矿安全监控及瓦斯灾害预警数据、宏观安全环境风险数据等自动、可靠、及时采集和保存。

5 结论

(1) 分析了区域煤矿瓦斯灾害风险数据的特征、分类及相应的数据采集技术，重点研究了煤矿安全监控及煤矿瓦斯灾害预警数据、基于互联网的宏观安全环境风险数据采集技术。

(2) 设计了区域煤矿瓦斯灾害风险预警数据采集系统，实现了服务于区域煤矿瓦斯灾害风险预警的煤矿自然环境风险数据、煤矿生产系统风险数据、煤矿瓦斯防治风险数据及宏观安全环境风险数据等4类预警基础数据的采集与存储。

(3) 现场试验表明，基于.NET Core跨平台Web API技术的煤矿安全监控及瓦斯灾害预警数据采集技术，以及基于主题网络爬虫的宏观安全环境影响数据采集技术，能够全面、可靠、及时采集区域煤矿瓦斯灾害风险预警所需基础数据，不仅为区域煤矿瓦斯灾害风险预警模型研究和系统实现提供了重要技术支撑，同时也探索了一条在互联网环境下大规模结构化、半结构化数据采集技术路线，为研发、构建区域煤矿重大灾害风险预警大数据采集系统提供了有益参考。