苗利明，邱树伟，张杰洵，梁冯斌

(1.韩山师范学院计算机与信息工程学院，广东 潮州 521041；2.北京鼎汉技术集团股份有限公司，广东 深圳 518101)

miaolm@hstc.edu.cn;swqiu@hstc.edu.cn;546572809@qq.com;811678717@qq.com

1 引言(Introduction)

古建筑是我国传统文化的载体，具有丰富而复杂的内涵和文物价值，是人类物质和非物质遗产的重要组成部分，具有独特的历史、艺术和科学价值。古建筑的火灾荷载大、耐火等级低，因此其火灾危险性较高。近10 年来，国内多处古建筑发生了不同程度的火灾事故，因此关于火灾检测的研究也越来越多[1]。王皎等以古建筑山西圣母殿为例，模拟了其火灾发生和发展过程[2]。田水承等采用PyroSim软件研究了不同位置的感温探测器的选型问题[3]。郭子东等研究了消防设施和探测器的合理设置[4]。帅建强研究了古建筑火灾的发展蔓延规律，以及合理布置火灾探测器的方法[5]。王彦等对徽派古建筑群中提取的模型进行了火灾数值模拟研究[6]。朱强对古建筑的简化模型进行了温度场的求解与分析[7]。然而，古建筑火灾超早期阶段产生的气体极少，使得温度和视频图像变化不明显。因此，有必要结合热感成像、视频流检测和图像处理技术，对古建筑火灾超早期检测的方法进行研究。

2 系统架构(System architecture)

2.1 系统功能模块与层次结构

依据古建筑管理人员及地区消防部门的需求，设计系统业务流程如图1所示。首先在古建筑中安装感知节点，用来采集所需要的数据，采集到的数据通过通信模组发送到边缘计算节点，由部署在边缘计算节点上的火灾检测算法对数据进行检测。然后将边缘计算节点检测的结果及古建筑环境信息通过NB-IoT模组上传到物联网公有云。用户可以通过移动端应用程序获取公有云数据，能及时收到火情的预警并进行火情监管。根据消防业务流程及功能需求，将系统划分为信息采集传输、火情检测、服务应用三个主要模块，系统层次结构如图2所示。

图1 系统核心业务流程图Fig.1 Flow chart of system core business

图2 系统层次结构图Fig.2 System hierarchy diagram

2.2 系统硬件组成

系统依据物联网技术栈，将系统硬件部分划分为端、边、管、云和应用五个部分。

2.2.1 端

端(感知层)主要由红外热成像模组、烟雾传感器、温度和湿度传感器等组成，其功能是采集古建筑环境数据，这部分对应于系统层次结构中的信息采集模块。物体热感图像信息通过红外热成像模组采集，热感图像像素值的大小与物体之间的温度差正相关。感知端采用多点式结构建立无线传感网络，具体来说，它是以多个感知节点为一组，将一组感知节点的信息通过无线网络传输模块发送。

2.2.2 边

边(控制层)包括一个物联网网关和一个边缘计算节点，它们共同处理和计算感知节点的数据，并把数据传输到物联网公有云。控制层与信息采集传输、火情检测、端云服务功能模块相对应。物联网网关由单片机、Wi-Fi模块、NB-IoT模块组成，由单片机控制Wi-Fi模块与各感知节点进行无线通信；对采集到的数据进行解析，将数据包内的图像信息传送到边缘计算节点进行运算，然后由NB-IoT模组将数据传送到物联网公共云。

2.2.3 管

系统使用Wi-Fi及NB-IoT作为通信方式，管(传输层)对应系统层次结构中的数据传输模块。

2.2.4 云

云(云应用)是一个以服务器为基础的平台，它与物联网网关之间进行数据对接，对数据进行存储和响应客户端请求，应用层对应系统层次结构中的端云服务模块。

2.2.5 应用

应用，即客户端。本系统采用手机和微信小程序两种用户级应用，用户可以通过手机和微信与物联网公有云进行交互，实现对古建筑的监控、远程火灾报警和火灾隐患预警；客户端与系统层次结构中的移动应用模块相对应。

3 感知节点数据采集与传输(Acquisition and transmission of sensing node data)

3.1 感知节点数据采集

感知节点的功能是采集古建筑的环境信息，数据结构如下：

3.1.1 热感图像采集

红外热感成像模组采集目标物体的热感图像，热感成像模组中的红外传感器将物体发射的红外信息转化为电信号发送给热感图像处理单元，热感图像处理单元的外围电路为外部提供了一个传输接口，因而从属模组可以获得红外热感图像，行数据校验采用循环冗余校验码(CRC)，其程序流程如图3所示。

图3 热感图像采集程序流程图Fig.3 Program flow chart for the thermal image acquisition

3.1.2 烟雾浓度数据采集

在实际应用中，由于古建筑所处的环境与试验环境不同，所以在使用烟雾传感器时，必须先对处于洁净空气中的传感器输出数据进行测量，然后将该数据作为参考对烟雾传感器进行校正。当感知节点中的微控制器通过模拟接口获取到电压值后，需要进行模拟值到数字值的转换，转换后的输出值可用于计算当前环境的烟雾浓度。

3.1.3 温度和湿度数据采集

当信息采集节点向温湿度传感器发出“开始”的信号后，传感器输出温度和湿度信号，当“开始”信号停止发送时，温湿度传感器向信息采集节点回复响应并发送数据，最后发送“结束”信号，表示完成一次数据传输。

3.2 感知节点数据传输

感知节点与网关节点之间的数据通信通过Wi-Fi无线局域网实现。网关节点为服务器端，感知节点为客户端，多个感知节点作为客户端连接到网关节点。由于服务器端是通过感知节点的静态IP判断节点位置，所以在为客户端节点分配IP时，首先要避开已部署的感知节点静态IP段，然后对服务器端的动态主机配置协议进行配置。感知节点通电后，会根据配置程序中的设定连接网关节点，当客户端连接服务器端后，服务器端会执行连接回调函数，将当前的连接会话进行保存，把连接的地址信息存入节点地址信息表中；通过存储的地址表进行查找即可定位该节点在古建筑的具体方位。

4 阴燃点探测算法(Smoldering point detection algorithm)

火灾的发展过程需要经过多个阶段，国家标准《点型感烟火灾探测器》(GB 4715—2005)中将阴燃阶段定义为处于火灾产生过程中的超早期，该阶段的主要特征是起火物质堆积发热或由其他外界能量造成可燃物内部分子激烈运动，导致其热解反应，可燃物温度缓慢上升且释放出气体或液体蒸气。气体或液体蒸气含量极低，浓度与火灾未发生时差距不大，因而此阶段最主要的特征是物体温度的变化。在火灾发展的阴燃阶段，物体阴燃点随着时间的推移由燃烧中心向周围逐步扩散，是一个动态且连续变化的过程。

4.1 实验场景搭建

在热成像模组前方摆放香烛，在香烛后方放置一块木板，木板后面加上点状火源，点状火源的热量会逐渐穿透木板并被红外热成像模组检测到。图4(a)为燃烧的香火及后面的木板，图4(b)是该图灰度图，图4(c)为热成像模组获取的红外热感图像，是一幅分辨率为80×60 像素、16 位深度的单通道灰度图像。图4中，热感图中的亮点表示正在燃烧的烛火和香火，由于木板后面的点状火源产生的热量还没有穿透木板，因此在热感图像中没有显示。

图4 实验场景及热感图像示例Fig.4 Example of experimental scenarios and thermal sensing images

4.2 阴燃点特征分析

截取阴燃点产生前后的热感图像(间隔2 min)，绘制其直方图并进行比对分析。虽然两幅图像在时间上间隔较长，但是图像之间的灰度值差异较小，灰度分布差异不大，阴燃点的特征不够明显。采用固定阈值和区域自适应阈值方法对热感图像进行分析发现，当阴燃点刚出现时，阴燃点与周边区域的对比度较弱，并且与周边干扰热源像素相互混合，采用阈值法无法区分这类变化。当阈值法可以检测到像素差异的时候，火灾超早期已经接近尾声。有学者提出基于图像处理技术实现的火灾早期烟雾自检系统，为火灾早期探测提供了一种思路[8]，但对于大多数易燃物来说，火灾早期产生的烟雾很少，使得这种依靠烟雾检测方法的泛化性受到限制。本文依据热感成像的特点，针对ARM Cortex-M3模组设计了帧间差分算法。

4.3 阴燃点检测算法

帧间差分法是通过视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当相邻两帧图像之间出现较为明显的差别时，这两帧图像对应位置的像素值差绝对值大于零。此时，只有判断这个绝对值是否大于某一阈值，就可以得到图像序列中物体变化的特性，数学公式描述如下：

在实验中发现，阴燃点在热感成像中变化时间周期较长，相邻两帧之间的差异非常小。通过对连续采集的31 帧热感图像的高温区域进行分析，得到了比较明显的特征，这里的高温区域是指阴燃点像素的数量。对于实验用的木板类可燃物，当木板上有阴燃点出现时，木板表面温度在50—110 ℃的范围内变化，对应的热感图像像素值范围为300—1,399。如图5所示，对31 帧热感图像序列中像素值为300—1,399的像素点绘制折线图，可以看到曲线整体的变化幅度较大，这表明木板后面的燃烧点热量越来越大，使木板的表面温度升高，高温区域逐渐扩大(阴燃点逐渐扩大)，因此曲线整体呈上升趋势。

图5 高温区域变化折线图Fig.5 Line chart of smoldering point area change process

分析比对连续31 帧图像的数据得出：正常情况下图像的变化是稳定的，当有阴燃点出现时，图像高温区域像素数量变化明显。因此，本文采用相隔七帧的两幅图像进行计算，即。依据实验数据，阈值选择为“3”,当有连续五次超出阈值的检测结果时，就判定为出现阴燃点。

算法的程序设计语言(PDL)简要描述如下：(1)阴燃点检测过程开始；(2)读入热感图像；(3)暂存热感图像；(4)暂存图像数量为10 帧；(5)计算；(6)删除第一帧图像并更改其余帧编号；(7)新采集帧进入暂存；(8)判断超出阈值的差分结果的计数；(9)判断是否出现阴燃点；(10)阴燃点检测过程结束。

阴燃点检测算法运行时首先读入采集到的热感图像，计算图像中像素值范围在300—1,399的区域并进行暂存，当图像序列里保存的图像数量达到10 帧时开始计算图像序列的帧间差分，当有新的图像进入序列时，将图像序列中最早的一张图像删除，更改其余帧的编号，然后存储当前图像。

实际的火灾现场中，阴燃点不会单独出现，也会出现非阴燃点因素，例如打火机打火时出现的短暂火焰，蜡烛火苗的跳动，较粗的香烛在燃烧过程中也经常会出现燃烧点忽大忽小的情况，我们将这些情况作为非阴燃点的干扰进行判断和处理。通过实验归纳了一些干扰情况的特点，一是突然有大面积的火焰出现，然后又突然消失；二是在高温区域较快地发生区域扩大的情况，但这种情况不会持续很久，而且高温区域又较快地缩小；三是高温区域的位置会发生较小的变化，位置变化的同时高温区域的大小也发生变化。对于第一种情况，高温区域大小的数值在箱线图中表现为离群点，数值超出了三倍标准差；在阴燃点检测算法中对这种离群点的处理方法是设置一个阈值作为约束条件，超出阈值的离群点不进行处理。对于第二种情况，高温区域大小较快地变化相当于高频变化，但是由于阴燃点区域变化比较缓慢，阴燃点检测算法是相隔七帧进行一次差分运算，相当于是低频变化，因此这种在高温区域出现的较快的区域大小变化会被过滤掉。第三种情况主要是蜡烛火焰的跳动，高温区域的位置和大小都会变化，但是在红外热成像中的表现是高温区域的数值基本没有变化，在阴燃点检测算法中，在当前帧高温区域像素的平均值与第七帧的平均值的差小于当前帧平均值的5%时，就作为非阴燃点处理。

为了验证算法的有效性，研究人员将算法部署到嵌入式模组中。嵌入式模组主频为72 MHz，外部晶振的频率为8 MHz，静态随机存储器为64 kB。在测试实验中共采集3,607 帧有阴燃点的图片序列，不用帧间差分法时，采集速率为8 帧/秒，准确率低于70%；使用本文算法时采集速率为6 帧/秒，准确率达到了75%。

5 数据收发(Data sending and receiving)

在无线网络模块收到感知节点的信息后，由接收回调函数对接收到的数据进行报头验证，验证完成后将数据传输至边缘节点。边缘节点将检测结果通过串口发送给网关节点，触发网关节点的串口接收中断，并同步检测结果。网关节点的微控制器与NB-IoT模组之间的通信设计采用了异步回调的设计。微控制器向NB-IoT模组发出指令，将NB-IoT模组设置为消息接收状态。当串口接收到NB-IoT模组的响应信息之后，中断函数会根据消息接收标识进行指令匹配，以此判断指令的执行情况。出现火情时，网关节点向物联网公有云上报火情，网关节点上报的消息需要指定消息头和消息唯一标识等参数。

6 移动应用的功能(Functions of the mobile application)

系统提供了移动端的应用服务，包括登录、报警、管理等服务。登录服务包括用户可登录的账户，也提供了密码找回和重新设置服务。报警服务除了向用户发送报警信息，还向用户发送检测位置的图像。用户可以直观地查看管理的古建筑的环境信息，还可以添加或删除管理的古建筑；个人信息管理服务包括查看与设置个人账户信息等。

7 结论(Conclusion)

根据火灾超早期的特点，利用图像分析技术设计了检测古建筑物阴燃点的嵌入式算法，并部署在嵌入式节点中。多个感知节点组成局域网络，然后通过NB-IoT与物联网公有云进行信息交互。设计了用户端移动应用程序，实现了实时检测、报警和管理功能。