王进成，张捷，赵高鹏，吕明

（1.南京理工大学 自动化学院，南京210094；2.南京北方信息产业集团有限公司 产品研发中心）

引 言

本双波段视频火灾探测系统综合可见光与红外线的视场信息，根据火焰的静态和动态特征，对火灾进行探测，并判断火灾等级。该系统采用DSP与ARM双系统组合的硬件系统，在算法中实现了多个火焰目标的稳定跟踪和识别，且采用基于图像轮廓的算法，增强系统实时性，能够准确、快速地对火灾进行探测。

1 硬件系统设计

硬件系统采用DSP与ARM双系统组合，DSP用于图像处理，ARM用于通信与报警。该系统以TM320DM642为核心，由一路CCD摄像头和另一路配有滤波片和衰减片的CCD摄像头组成，分别采集两路视频信号，一路为可见光视频信号，另一路为红外视频信号，经视频解码器TVP5150芯片转换为BT.656格式的数字信号，送入TM320DM642进行处理。

一方面，将处理后的视频图像写入输出帧缓冲FIFO中，控制视频编码芯片SAA7121，将其转换为PAL或NTSC标准制式的模拟电视信号输出，并采用内置小型网络视频转换器的方式实现以太网传输和视频监控功能。另一方面，通过一定的算法处理，提取出目标信息，对采集的信息进行处理判别，将判别信号通过RS232上传给LPC2368，LPC2368通过CAN总线再进行报警等操作。图1为系统硬件结构示意图。

2 软件系统设计

2.1 软件总体设计

系统软件流程图如图2所示。软件系统以40 ms作为

图1 系统硬件结构示意图

一帧处理时间单位。首先，从红外摄像头得到现场红外分布影像，确定高温区域，并进行火焰形态特征的判断，之后再根据普通摄像头的可见光信息在对应疑似火焰的高温区域内寻找颜色信息，判断当前高温区域是否包含有火焰。通过红外摄像图确定高温区域，接着确定疑似火焰的区域，再通过普通摄像头再次验证其颜色信息，即对两者的信息根据位置进行融合处理，使程序得到进一步更加稳定可靠的判断，并减少程序运算量。最后，将火焰区域标记出来并显示，判别是否为稳定火焰，从而进行分级报警。

图2 系统软件流程图

2.2 红外摄像头功能模块

2.2.1 回滞二值化模块

根据红外摄像头的成像特点（亮度高的代表现场的物体发射或反射出更多的红外线），通过一定的阈值从红外摄像头产生的图像中选取亮度高的像素点，即图像中温度高的物体，再对温度高的物体进行形体特征方面的选择。其中，每个像素点的颜色可以用Rn（红色）、Gn（绿色）、Bn（蓝色）三个分量来表示，那么该像素点的平均亮度[1]为：

由于图像是由光的模拟量转化为感光器上的数字量，所以会由最小分辨率产生像素值的跳动误差。对此，进行回滞二值化处理，设定高于上限的为目标点，低于下限的为非目标点，介于中间的为上一帧的结果。

2.2.2 轮廓扫描算法模块

图像二值化后，得到众多疑似高温像素点构成的连通域（以下称为疑似高温区域）。轮廓扫描算法就是按照从左上到右下的顺序扫描整幅图像，得到每个疑似火焰区域的所有边界点的位置，并将其保存在边界位置缓存中，为下面各特征的计算做好准备。在这个过程中同时记录疑似火焰区域的边界长度（即区域周长）以及疑似火焰区域的所有像素点的横坐标的最大、最小值和纵坐标的最大、最小值（即为疑似区域的左上角和右下角的点坐标），分别保存在边界位置缓存和扫描区域缓存中。

轮廓扫描算法采用四邻域扫描法。首先，依照行方向依次进行扫描，如果遇到疑似火焰的像素点（以下简称“像点”），则开始进行轮廓扫描。按照四邻域的方式进行扫描，按上、下、左、右4个方向进行顺时针扫描，如果过程中遇到新的像素点，则将新的像素点标记为当前像素点，把其在内存的位置信息放入缓存，并记录此时该像素点的移动方向，将其反方向作为下一个点的起点方向。如果过程中没有遇到新的像素点，则将方向取反，重新开始当前像素点的四邻域扫描，此种情况说明扫描过程遇到单线程的阻塞，不能继续扫描，此时需要将当前像素点的起点方向取其相反方向，这时程序会按照相反的方向扫描下去，直到遇到边界起点，该区域扫描结束。

该区域扫描结束后，需要确定下一个扫描区域，那么下一个扫描区域的起点应该是跨过当前已扫描区域之后的第一个点。因此，需要首先判断扫描开始点是否为当前已扫描区域内的新像素点。如果是，就需要从当前行开始找第一个不是该区域内的点。重新开始扫描；如果不是，就从当前点开始扫描。

2.2.3 疑似火焰区域识别算法模块

疑似火焰区域匹配算法的主要作用是对各帧视频信号中的物体进行匹配，以确定前后帧的物体是否为同一物体。算法的内容就是将当前帧的各疑似区域分别与前一帧的所有可疑区域进行匹配，若满足匹配条件，则将前一帧被匹配的区域的识别编号转移到当前帧的该区域；若不满足匹配条件，则将该区域的扫描编号冻结一段时间，并从编号池中选择最小的且没有被冻结和用过的编号，作为该区域的识别编号。每次扫描后，各个区域会被从1开始进行编号，该编号为扫描编号，匹配后各个区域会被贴上识别编号。

2.2.4 判别火焰算法模块

判别疑似火焰区域算法的主要作用是根据提取到的边界信息和区域信息等进行统计，计算出各特征值，以确定疑似火焰区域。

摄像头由疑似火焰像素点提取算法和轮廓扫描算法得到摄像头中疑似火焰区域。疑似火焰区域中包含的识别像素点，可能是真实的火焰，也可能是满足二值化选择条件的物体。同时，判别算法可以识别稳定的小火和不稳定的大火，这两种火焰与被识别的非火焰具有一些较明显的区别。此外，还要设置一个预存的编号区域缓存区。程序中缓存设置的是50个编号的统计数据缓存，根据这些特点可以选择出3种不同的火焰区域和非火焰区域。

火焰算法需要经过三步：实时保存数据、实时处理缓存数据、判别。

第一步，采集实时数据放入缓存中保存。该缓存就是判别数据缓存，缓存区中保存对应识别火焰编号的一系列信息，包括平均亮度、底部位置、高度及其变化、周长及其变化、面积及其变化、尖角[2]个数及其变化和圆形度等。其中：

其中，Hi为连续若干帧中各帧图像中同一疑似火焰区域的高度值，μ为该疑似火焰区域高度的平均值。

其中，σ为高度的标准差值。

其中δ为高度的标准差率。疑似火焰区域周长、面积的标准差率的计算方法同高度标准差率，分别以各帧图像中同一疑似火焰区域的周长值Li、高度值Si代替。

其中，Cn为疑似火焰区域n的圆形度值，Sn、Ln为该疑似火焰区域的面积和周长。这些缓存区分成一定数量的供对应识别编号保存数据的小缓存区。

第二步，将实时的缓存数据中的内容进行计算得到用于判别的数据内容。运行时，对于编号N的缓存内容，同时取出对应于每一个判据中的缓存数据进行运算。运算过程中，按照判据的需求计算编号N的每一个判据对应缓存区的数据均值、标准差或者标准差率，供第三步进行判别。

第三步，用一定的方法进行判别。对于编号N第二步采集的数据，按照一定的判别阈值进行处理。根据两种不同的判据判断火焰类型，即判断出非火焰、稳定小火和不稳定大火3种情况。当出现不稳定大火和爆炸性火焰时，发出火焰预警，同时标记不同类型的火焰区域。

关于阈值选取，通过对蜡烛、打火机等稳定火源，报纸、木材、正庚烷等非稳定火源以及手电光、日光灯、太阳光、晃动红布条等干扰源的各项特征参数进行实验数据统计，总结得出数据特点。

2.3 可见光摄像头功能模块

在红外图像下得到疑似火焰区域，并将该区域映射到可见光图像下，然后通过YCrCb颜色判据[3]，采用回滞二值化方法对该区域内的可见光图像进行二值化处理。

其中 Y（x，y）、Cb（x，y）和 Cr（x，y）分别是在位置（x，y）上的点的亮度、蓝色色差和红色色差值；τ为一常数。

然后，通过轮廓扫描算法，得到可见光图像下可疑区域的位置大小信息，将其面积信息与相应红外图像下的可疑区域进行比较，判断是否为真正的火焰。

最后，将火焰区域标记出来并显示，并且运用圆形度和火焰尖角数目变化判据对稳定火焰和非稳定火焰进行区别，对稳定火源进行低级报警，对非稳定火源进行高级报警，实现对火灾的分级报警。

3 实验与结果分析

实验在南京理工大学化工学院火灾实验室进行，标准燃烧室尺寸为3 m×3 m×4 m，油盘位于标准燃烧室的一角，摄像头垂直距离地面1 m，摄像指向火源，直线距离为2.5 m。标准燃烧室场景如图3所示。

图3 标准燃烧室场景

如图4所示，将视频火灾探测器原理样机固定好，并正确连接报警装置和视频显示装置。记录下整个实验过程，并可通过读秒表和读取图像帧的时间差来测试反应时间。

图4 双波段视频火灾探测器实物图

以报纸为例，实验步骤如下：

①在距离地面80 cm以上位置固定探测器；

②把实验容器放置在距离摄像头2 m位置的地面上，并把报纸放置在试验容器内；

③把挡板放置在实验容器和摄像头之间，保证视频显示装置的视频图像中不应看到试验容器；

④放置好挡板，用打火机点燃报纸，此时视频显示装置的视频图像中不应看到火焰（挡板阻挡）；

⑤等报纸完全点燃后，快速移开挡板，记录视频显示装置的视频图像中可完全看到报纸火焰的时刻t1；

⑥视频显示装置的视频图像中的火焰被红色框标记，同时火焰指示灯高频闪烁（频率2 Hz），报警装置的报警指示灯高频闪烁（频率2 Hz），并发出高频报警声（频率2 Hz）；

⑦记录视频图像中火焰的红色框标记时刻t2；

⑧记录t3＝t2-t1；

⑨重复实验3次；

⑩计算并记录最长报警时间和平均报警时间。

其实验效果图如图5所示。

实验结果表明，该探测器保证了火灾探测的可靠性和准确性，对稳定火焰与非稳定火焰进行分级报警，反应速度迅速，同时，具有较强的抗干扰能力。

对于普通的干扰源，能够有效的不发生误报。在白炽灯的强光下，周围反射出类似火焰颜色时，会发出误报。针对这种情况，首先考虑减少固定物体因噪声产生的闪烁，然后加强火焰的静态形状特征和动态变化特征，并适当降低对稳定火焰的特征要求。

结 语

图5 双波段视频火灾探测器实验效果图

本双波段视频火灾探测器运用双波段视频采集及图像处理技术，综合利用红外和可见光视场的信息，提高了火灾识别率及抗干扰能力。

硬件上采用DSP与ARM双系统组合，DSP用于图像处理，ARM用于通信与报警，使得系统性能更加高效；软件上实现了多个火焰目标的稳定跟踪识别以及对火灾的分级报警，并且具有较强的系统实时性。

实验结果表明，该探测器能够准确、快速地对火灾进行探测并进行分级报警。

编者注：本文为期刊缩略版，全文见本刊网站www.mesnet.com.cn。

[1]张进华，庄健，杜海峰，等.一种基于视频多特征融合的火焰识别算法[J].西安交通大学学报，2006，40（7）：811-814.

[2]吴龙标，宋卫国，卢结成.图像火灾监控中一个新颖的火灾判据[J].火灾科学，1997（2）.

[3]Celik T，Demirel H.Fire detection in video sequences using a generic color model[J].Fire Safety Journal，2009，44（2）：147-158.

[4]Philips W，Shah M，Lobo N V.Flame recognition in video[J].Pattern Recognition Letters，2002，23（13）：319-327.

[5]冯世成，孔冬冬，鹿书恩.基于图像识别的火灾火焰判据研究[J].自动化技术与应用，2011，30（5）：67-69.

[6]Yang Jun，Wang Runsheng.A survey on computer vision based video fire detection[J].Journal of Image and Graphics，2008，13（7）：1222-1234.

[7]李明，吴爱国.大空间早起火灾的双波段图像型探测方法[J].现代建筑电气，2007（2）：37-40.