王向军，杜志伟，高 超

〈图像处理与仿真〉

基于约束非均匀形变特征的小尺度火焰识别方法研究

王向军1,2，杜志伟1,2，高 超3

（1. 天津大学 精密测试技术及仪器国家重点实验室，天津 300072；2. 天津大学 微光机电系统技术教育部重点实验室，天津 300072；3. 天津大学 智能与计算学部软件学院，天津 300072）

基于视觉的火焰检测是一种灵活、低成本的火焰检测方式，但现阶段常用的火焰特征不能对火焰和干扰物进行有效的区分，有较大的误警率。本文基于目标轮廓的时序行为特征，将火焰的闪烁描述为一种有约束的非均匀形变过程，结合隐马尔可夫模型和传统几何特征对火焰和干扰物进行更准确地区分。实验表明，通过引入补充的火焰特征显著提高了火焰检测的准确率，有效减少了复杂环境下干扰物引起的虚警。

火焰检测；特征提取；主曲线；隐马尔可夫模型

0 引言

火灾是受到广泛重视的灾害之一，对火焰进行快速、准确的检测是保证消防安全，降低火灾危害的关键。传统的火灾检测方法如烟雾传感器、温度传感器等通常针对特定的位置进行监测，存在范围小、响应慢等问题，对应用环境有较高的要求。随着计算机视觉的发展，基于视频的火焰检测方法（video-based fire detection，VFD）成为火灾检测的一种重要途径[1]。基于视频可以对火灾进行远距离、大范围的持续监测，同时可以对火灾进行准确的定位，对火焰的起始位置、规模、增长速率、传播方向等进行分析，作为确定消防方案的依据。

基于视频的火焰检测方案通常分为可见光波段的火焰检测和红外波段的火焰检测两类，根据火焰颜色和形状及其随时间的变化趋势进行检测。可见光波段可以取到清晰、准确的火焰边界，具有丰富的几何信息和纹理信息，但数据量大，抗干扰性较差。相比可见光波段，在红外波段进行检测可以降低干扰物数量，简化目标特征的提取过程，减轻环境变化如光照、气候的影响，且对烟雾遮挡具有较好的穿透性，较可见光波段更适用于火焰的检测，本文采用红外波段作为火焰检测的波段。

火焰检测常用描述特征包括其轮廓的变换域描述子、几何特征、形状描述矩、运动特征等[2-5]。其中闪烁现象作为火焰特有的运动特征，可以有效地对火焰和常见形变干扰物进行区分。本文在传统特征的基础上，对火焰的闪烁过程进行了更准确的描述，显著提高了识别算法的准确率。

1 火焰闪烁特性分析

火焰的闪烁过程指在燃烧过程中由于热对流、重力、湍流等共同作用产生的复杂现象，表现为火焰形状高频率的无序变化，是火焰燃烧不稳定性的反映[6-7]。闪烁在一定程度上反映了火焰的燃烧特性，其中伸展闪烁与火焰的燃烧面积有较好的相关性[8-9]。火焰燃烧过程中的空气来自外部环境空气的扩散，其中心区域所需的空气经过四周火焰并被不断消耗。随着火焰面积的增加，环境空气的扩散行程和扩散损耗增大，火焰中心的空气积蓄过程更加缓慢，火焰更加稳定，闪烁频率降低。Takahashi[10]等对不同尺度火焰的燃烧和闪烁现象进行了分析，得到如(1)所述的经验公式：

式中：为火源等效燃烧直径，根据该公式可以通过测量的闪烁频率对火焰的真实尺度进行估计。

现阶段对火焰闪烁频率的描述通常基于视场内像素的整体特征，如面积、周长等几何特征，累计灰度变化、灰度直方图等像素统计特征，轮廓变换域描述子等整体形状特征[6,8-9,11-12]。这类描述方式通常基于目标的全局特性，忽略了火焰像素的局部差异性，抗干扰性较差，特别是对复杂背景环境下的红外形变干扰物如动物、遮挡热源等缺乏有效的区分能力。本文基于火焰边缘像素的运动特征和分布概率构造了闪烁的非均匀形变模型，对火焰的闪烁过程进行了更准确的描述，增强了对火焰和形变、运动干扰物的区分能力，同时结合隐马尔科夫模型对火焰的闪烁频率进行了计算，以对火焰真实尺度进行粗略估计。

2 闪烁过程的约束非均匀形变特征

采用图1(a)中方框区域的火焰作为示例目标。该测试视频中包括两个微小火源和一个规则干扰物。直接采用Canny算子提取的边缘如图1(b)所示，大量无关干扰边缘也被提取了出来，这增大了后续处理的数据量，降低了火焰目标检测和识别的效率。本文在Canny算子的基础上增加了邻域灰度约束条件，对提取的边缘进行筛选，得到的实际轮廓如图1(c)所示，图中的3个轮廓分别为火点1、火点2、大面积干扰物。对左侧火点(火点1)进行进一步分析，该火点的像面尺寸为10×15像素，如图1(d)为该火焰目标在连续20帧内轮廓的变化过程，可以看出其帧间轮廓变化不具有规律性，但整体上具有约3次完整的涨落过程，且具有稳定的涨落边界。

2.1 轮廓像素的时域分布特征分析

如图2(a)为1s内目标火焰的轮廓像素序列，可以看出火焰轮廓在该时间区间内持续变化，轮廓的变化过程通常发生在火焰的锋面区域，其基部轮廓像素通常保持稳定。因此火焰的轮廓像素在其闪烁过程中的变化具有非均匀性，基部区域火焰轮廓像素较为稳定，锋面区域火焰轮廓像素存在剧烈的变化。

图1 红外视频及火焰闪烁轮廓序列

对火焰轮廓像素在时域进行积分，得到图2(b)所示的轮廓像素积分概率图，可以看出其轮廓像素的累计概率具有独特的分布特征。火焰基部的轮廓像素具有较大的累计概率，且截面宽度较小，这表明该部分轮廓像素在当前时间区间内持续稳定存在，不具有明显的变化，帧间波动被限制在一个较狭窄的范围内；而火焰锋面的轮廓像素累计概率值较低，截面宽度较大，具有较为分散的分布。整体上看越接近基部区域，轮廓像素的时域分布越集中；越接近锋面区域，轮廓像素的时域分布越分散。这一分布特征可以作为火焰和形变干扰物区分的依据。

2.2 基于轮廓像素时域积分分布特征的火焰识别

2.2.1 轮廓点概率分布主曲线拟合

为描述目标轮廓分布的非均匀性，需要对分散分布的离散轮廓点云进行拟合，得到轴线轮廓作为轮廓描述的基准。该轴线轮廓可以通过主曲线拟合方法得到。主曲线指穿过一组离散点样本中心的自相合光滑曲线，给定数据点围绕该曲线近似对称，因而可以将该曲线作为点云分布的拟合表示。

传统无参数主曲线拟合方法鲁棒性较差，计算复杂，Kegl等[13]引入了主曲线，基于多边形逼近的方法对主曲线进行拟合，并引入长度约束条件和最小距离期望条件对逼近过程进行约束，增强了主曲线拟合过程的收敛性和无偏性，对给定样本点集X，规定长度小于等于给定长度的阶曲线簇为S，则的阶主曲线f*满足最小平方距离期望条件，即有：

式中：()表示阶曲线内的任意点。其拟合过程如下：

1） 初始化，提取包含所有可能投影点的最短主成分线段1,n作为初始曲线；

2）样本点投影，区别于样本点到主曲线的投影方法，主曲线拟合根据样本点到阶多边形各个顶点1,…,v＋1和边1,…,s的距离将样本点集X投影到2＋1个独立的集合中，得到投影子集1,…,V＋1和1,…,S；

3）顶点坐标优化，遍历当前顶点，对闭合拟合多边形曲线的顶点v，根据样本点{:ÎS－1,V,S}计算拟合误差E，调整v使拟合误差最小；

图2 火焰轮廓像素时域分布特性

5）重复2）3）4）过程，直到满足迭代终止条件；

为提高算法效率，本文基于轮廓像素分布点云最大内接多边形、最小外接多边形对应顶点的平均坐标构造了多边形f0,n，替代1,n作为初始拟合曲线。且适当增加了单次迭代过程的补充顶点数。考虑到真实轮廓点为离散坐标点，对拟合主曲线进行离散坐标近似，得到图3所示的拟合轮廓。其中红色离散点为拟合轮廓点，与轮廓像素分布的实际中心线较为接近。

图3 K主曲线拟合平均轮廓线

2.2.2 拟合轮廓点邻域分布特征提取

对拟合轮廓上的各像素点，可以通过其邻域像素的统计特征描述火焰轮廓在该区域的存在概率分布特性。从锋面轮廓到基部轮廓的边缘像素点积分概率增大，截面宽度减小，法向概率梯度增大。计算轮廓点邻域像素分布特征需要对邻域像素点进行提取，对拟合轮廓点(x,y)，其法向邻域点(x,y)应该满足式(3)：

式中：dir表示当前轮廓点的法向矢量方向。

由于真实图像采用离散坐标形式表述，采用上述直线方程提取邻域像素需要进行坐标近似。为了对邻域像素进行更准确的提取，构造离散化邻域像素模板以简化拟合轮廓点邻域像素的提取过程，同时对邻域点样本数量做出规范，如图4所示。模板包括中心像素在内共21个样本点，其中黑色像素为当前轮廓点，灰色像素为提取的法向邻域像素。

图4 离散邻域像素提取模板

2.2.3 基于法向梯度分布的非均匀性表征

对典型火焰和干扰物的红外视频进行分析，对比其轮廓像素在时域行为上的差异，所选样本的轮廓像素时域积分图如图6(a)所示，像素灰度值反应了当前像素的累计出现概率。样本从左到右依次为真实火焰、稳定热源、运动热源、动态遮挡的热源，其法向梯度分布如图(b)～(d)左侧图所示。可以看出，真实火焰的梯度分布表现出显著的的单峰特性，即有且仅有一段连续分布的稳定边缘区，且该稳定边缘长度有限；稳定热源的轮廓边缘全局稳定，部分区域存在边缘误差引起的微小波动；运动热源与遮挡热源的轮廓分布有较高的无序性，梯度通常表现为多峰分布。通过对梯度分布的单峰特征进行描述，可以对火焰和此类干扰物进行有效区分。

采用极大值、方差、峰度特征等统计特征描述目标拟合轮廓全局梯度分布与去峰梯度分布的统计差异，其中峰度特征用于描述数据分布的起伏程度，表示为如下形式：

式中：x表示第个轮廓点的法向梯度值。全局统计特征根据当前所有有效轮廓点计算，去峰统计特征为去除最高峰部分轮廓后剩余样本点的统计特征。根据峰值和全局统计特征动态确定峰值区域的前后轮廓边界，可以较完整地去除最稳定的连续轮廓，去峰梯度分布如图6(b)～(e)右侧所示。

图5 拟合轮廓邻域点统计特征

上述样本的全局统计特征和去峰统计特征如表1所示，样本1、2、3、4分别为真实火焰，稳定热源，运动热源，动态遮挡热源。真实火焰的分布具有明显的单峰性，因此其全局分布特征和去峰分布特征具有显著的差异性，去峰分布的峰值、方差、峰度均明显下降；其他干扰物通常不具有唯一、连续的峰值区域，去除最大峰值区域对整体分布特征的影响较小，统计特征不具有显著的变化。因此根据全局梯度分布与去峰后梯度分布的统计特征差异可以对火焰和干扰物做出有效的区分。

表1 不同样本全局分布与去峰分布统计特征

3 基于隐马尔科夫模型的闪烁频率估计

火焰的闪烁频率通常采用火焰高度或面积时域变化曲线的频域峰值进行计算[6]。该方式在室内稳定环境下对单束火焰有较好的计算效果，但自然环境下的火焰具有随机的伸展方向和不稳定的闪烁频率，其涨落间隔通常在区间范围内随机变化，这导致传统的变换域方法无法提取准确的峰值频率。

4 实验及结果分析

5 结束语

本文算法通过引入非均匀形变约束条件，对火焰轮廓像素的时域行为做出了更准确的描述。算法显著降低了识别算法的虚警率，提高了检测的准确性和可信性，降低了实际应用场景中对人工复核的依赖程度，有较大的使用价值。但对存在严重遮挡的火焰识别能力有限，还有进一步改进的空间。

表2 不同特征检测结果对比

[1] Çetin A E, Dimitropoulos K, Gouverneur B, et al. Video fire detection -review[J]., 2013, 23(6): 1827-1843.

[2] Owrutsky J C, Steinhurst D A, Minor C P, et al. Long wavelength video detection of fire in ship compartments[J]., 2006, 41(4): 315-320.

[3] Toreyin B U, Cinbis R G, Dedeoglu Y, et al. Fire detection in infrared video using wavelet analysis[J]., 2007, 46(6): 067204.

[4] 李涛, 向涛, 黄仁杰, 等. 基于新的运动特征的火焰检测方法[J]. 计算机仿真, 2014, 31(9): 392-396.

LI Tao, XIANG Tao, HUANG Renjie, et al. Fire detection method based on new moving feature[J]., 2014, 31(9): 392-396.

[5] 朱思思, 丁德红, 陈朝迎, 等. 基于图像处理的森林火灾识别方法研究[J]. 红外技术, 2016, 38(5): 440-446.

ZHU Sisi, DING Dehong, CHEN Zhaoying, et al. The research of forest fire recognition method based on image processing[J]., 2016, 38(5): 440-446.

[6] 陈娟. 基于多特征融合的视频火焰探测方法研究[D]. 北京: 中国科学技术大学, 2009.

CHEN Juan. Study on Method of Multi-Feature Fusion Based Video Flame Detection[D]. Beijing: University of Science and Technology of China, 2009.

[7] CHEN J H, Im H G. Correlation of flame speed with stretch in turbulent premixed methane/air flames[J].(International), 1997, 27(1): 819-826.

[8] Hamins A, Yang J C, Kashiwagi T, An experimental investigation of the pulsation frequency of flames[J].(International), 1992, 24(1): 1695-1702.

[9] Chaconmurguia M I, Perezvargas F J. Thermal video analysis for fire detection using shape regularity and intensity saturation features [C]//, 2011: 118-126.

[10] Takahashi N, Suzuki M, Dobashi R, et al. Behavior of luminous zones appearing on plumes of large-scale pool fires of kerosene[J]., 1999, 33(1): 1-10.

[11] 程鑫, 王大川, 尹东良. 图像型火灾火焰探测原理[J]. 火灾科学, 2005(4): 239-245,196.

CHENG Xin, WANG Dachuan, YIN Dongliang. Image type fire flame detecting principle[J]., 2005(4): 239-245, 196.

[12] Paresh P A, Parameswaran L. Vision-based algorithm for fire detection in smart buildings[C]//, 2018: 1029-1038.

[13] Kegl B, Krzyzak A, Linder T, et al. A polygonal line algorithm for constructing principal curves[C]//, 1998: 501-507.

[14] WU Z, Fuller N W, Theriault D H, et al. A thermal infrared video benchmark for visual analysis[C]//, 2014: 201-208.

Small Scale Fire Identification Based on Constrained Inhomogeneous Deformation Feature

WANG Xiangjun1,2，DU Zhiwei1,2，GAO Chao3

(1.,,300072,;2.,,300072,;3.,,300072,)

Video based fire detection(VFD) is a convenient, low-cost method widely used in fire detection. However, it’s not credible enough to distinguish true fire from possible disruptors by traditional fire features. This paper extract two new features to analyze the time series behavior of fire based on the motion of edge pixels. The inter frame behavior of edge pixels is regarded as a nonuniformty constrained deformation procedure. Combined with HMM and additional geometric features to distinguish true fire from possible disruptors, the accuracy of fire detection is greatly improved and the false alarm rateis efficiently reduced.

fire detection, feature extraction, principal curves, HMM

TP391.4

A

1001-8891(2021)02-0145-08

2019-10-11；

2020-12-30.

王向军（1955-），男，博士，教授，主要研究方向为光电探测与测量和图像测量与计算机视觉。E-mail：tjuxjw@126.com。