邹 辉，黄福珍

基于FAsT-Match算法的电力设备红外图像分割

邹 辉，黄福珍

（上海电力学院自动化工程学院，上海 200090）

红外技术能有效地检测电力设备过热缺陷，具有远距离、不接触、不取样、准确、快速、直观等特点。传统的电力设备故障红外人工诊断耗时、耗力，而针对人工诊断不足提出的智能诊断其难点之一在于能否较好的获得感兴趣区域（ROI，Region of interest）。红外图像具有强度集中、对比度低等性质，常用的分割算法用于电力设备红外图像ROI获取，其结果往往是过分割。针对过分割难点，本文提出一种基于FAsT-Match算法的电力设备红外图像分割方法。首先，运用FAsT-Match算法在可见光图像中近似模板匹配，然后在红外与可见光图像之间通过近似仿射变换找到目标在红外图像中的近似区域，最后用分割算法对近似区域分割。实验结果表明，提出的方法能够较好地解决电力设备红外图像过分割问题。

红外图像分割；模板匹配；仿射变换；电力设备；故障诊断

0 引言

电力设备正常运行对电网可靠供电具有重要影响，据统计电力系统事故中有90%是由电力设备故障引起，而出现故障的电力设备中有一半会在早期阶段表现出不正常的发热症状。因此，对电力设备运行状态的监测、故障诊断和及时维修日益得到人们的重视[1]。红外测温的原理是探测器检测物体表面发射的红外辐射能量，并转换成相应的电信号，再经过专门的电信号处理系统，获得物体表面的温度分布状态。由于电力设备不同性质、不同部位和严重程度不同的故障，在设备表面不仅会表现出不同的温度值，而且温度分布形式也不一样。分析电力设备表面的温度信息，能够对电力设备中潜伏的故障或事故隐患性、具体位置和严重程度做出定量的判定[2]。目前，红外技术在电力系统中最主要的应用形式是技术人员手持热像仪现场诊断或采集图片以供后续PC机分析。一般来说，热像仪会自带图像分析软件，技术人员能够很方便地使用软件分析温度信息。这种方法的缺点是采集图片和分析图片都需要人工来完成，对于含有众多电力设备的变电站，人工诊断将变得异常复杂。近些年来，变电站巡检机器人得到广泛研究并得到实际应用，巡检机器人携带红外热像仪、可见光CCD摄像机等有关的电站设备检测装置，在巡检轨道上设置停靠检测点，停车后控制云台转动拍摄可见光和红外图像[3-4]。巡检机器人将所得的红外图像发回控制室再进行人工分析，这种方法减少了人工采集图片的劳动量，但未能摆脱对人工诊断的依赖。

随着图像处理和人工智能的发展，有研究人员提出电力设备故障红外智能诊断。智能诊断方法主要分为三步[5]（如图1所示），首先从红外图像中找出感兴趣的区域（ROI），然后从区域中提取相关的信息，最后对提取到的信息分类从而完成电力设备故障诊断。其中最关键的一步是感兴趣区域的获得，能否准确地得到ROI在一定的程度上决定了能否提取出能够较好地代表电力设备状态的信息。获得感兴趣区域方法主要分为两类，一类是图像的二值分割[6-8]，另一类是人工给定区域[9-12]。文献[6]对电力设备红外图像采用简单的阈值分割，文献[7]采用阈值分割和数学形态学处理的方法获得ROI，文献[8]采用分水岭算法对图像分割。文献[13]首先采用高帽、低帽变换结合的方法对电气设备红外图像进行增强，对增强后的图像采用元胞自动机（CA）法进行边缘提取，并进行二值化处理，最后与经过OTSU算法分割后的红外图像进行融合。文献[14]先用K-means算法对电力设备红外图像分割，然后用马尔可夫随机场（MRF）模型进一步优化分割。文献[15]针对电路板红外图像芯片提取，提出一种基于两方法博弈的马尔可夫随机场红外图像分割算法。电力设备红外图像是伪彩色图像，反映了电力设备表面温度分布状态，具有强度集中和对比度低等特性，传统的分割算法往往不能很好地将目标和背景区分出来。而人为给定感兴趣区域，显然大大降低了智能诊断系统的效率。

综上所述，电力设备故障红外人工诊断具有耗时耗力和诊断周期长等缺点，而针对人工诊断不足而提出的智能诊断存在感兴趣区域（ROI）能否较好地获得问题。电力设备所在的区域往往是感兴趣的区域（ROI），图像分割的目标是希望把电力设备从图像中分割出来。针对电力设备红外图像过分割问题，本文受红外和可见光图像在一定程度上信息互补和FAsT-Match算法[16]的启发，综合利用红外和可见光图像，提出一种基于FAsT-Match算法的电力设备红外图像分割方法。首先，FAsT-Match算法用于电力设备可见光图像目标定位，然后根据红外与可见光图像之间的仿射变换求出目标在红外图像中的区域，最后用分割算法对区域分割。本文方法与其他方法（通常是直接对原始红外图像分割）最大的不同之处在于通过目标定位去除部分干扰背景。

图1 智能诊断系统的基本步骤

1 FAsT-Match算法

FAsT-Match算法[16]（Fast Affine Template Matching）由Simon Korman等人于2013年提出，是一种在二维仿射变换下减小SAD（Sum-of-Absolute- Differences）误差以达到近似全局最优的快速仿射变换模板匹配算法。模板匹配通常需要考虑所有可能的变换，如旋转、尺度变化或是二维仿射变换，这时会带来计算量爆炸性的增长，使得模板匹配在很多场合下的运用受到了限制。FAsT-Match算法首先初始化仿射变换参数网络，根据参数网络可得到相对应的仿射变换矩阵，对每一个仿射变换矩阵，采用随机算法（Random Algorithm）来估计SAD；对估计出的SAD设定阈值，保留在阈值范围内的仿射变换参数网络及对应的矩阵；最后用分支界定（branch-and-bound scheme）方法重新初始化仿射变换网络和估计SAD，直到满足一定的条件（通常是迭代次数或最小的SAD）。

给定灰度图像模板1和目标图像2，图像的大小分别为1×1和2×2（FAsT-Match算法不只适合正方形图像，只是为了方便陈述采用正方形这种情况），灰度值的大小在[0 1]之间。定义图像总的变化为：

式中：()和()分别表示图像在像素点和的像素值，()为像素点的8邻域。

定义D(1,2)为图像1中的像素点与经过仿射变换后在图像2中的像素点两者之间的归一化SAD距离，数学表达式为：

式中：如果像素点经过仿射变换超出图像2的范围，则|1()－2(())|＝1。

FAsT-Match算法的基本思想是希望找到一种仿射变换使D(1,2)最小，定义模板图像经过所有的仿射变换求得的D(1,2)中最小值定义为D(1,2)。定义¥为图像1经过仿射变换和¢后像素之间最大的距离，数学表达式为：

式中：||×||2表示目标平面的欧几里得距离（Euclidean distance）。值得注意¥值的大小与目标图像无关，由变换、¢和模板图像1的大小决定。

FAsT-Match算法原理之一就是当图像是光滑连续的图像，那么¥(,¢)的值可以界定D(1,2)和D¢(1,2)之间的不同和模板图像1总的变化量，这样就仅需要考虑很小一部分的仿射变换，而不是所有的仿射变换，因此可以合理地离散二维仿射变换参数网络（由模板和目标图像的大小及给定参数决定）。对每一个仿射变换，FAsT-Match算法采用随机算法估计相似性度量函数SAD。所谓随机算法就是在模板1中随机取一些点（给定参数决定了随机采样点数），模板中的点通过仿射变换求出在图像中的位置，把这些对应点的像素值差的和作为相似性度量函数SAD的估计。SAD越小，说明模板匹配效果越好，估计完SAD后用分支界定（branch-and-bound scheme）的方法来加速算法，最终求取近似全局最优的仿射变换。FAsT-Match算法的详细介绍及理论证明请参考文献[16]。

2 本文提出的方法

电力设备红外图像分割的目的是希望把电力设备从图像中分割出来，也就是电力设备所在位置是感兴趣区域，但由于红外成像设备固有特性及成像环境的影响，红外图像具有强度集中、对比度低、信噪比低、视觉效果模糊等特点，使得用传统的分割算法分割其结果往往是过分割。FAsT-Match算法对于光滑连续的图像能够取得很好的效果，但直接用于电力设备红外图像模板匹配，效果往往很差，其原因是红外图像是伪彩色图具有稀疏性质不满足连续光滑条件。图2为变压器油枕定位，其中平行四边形为定位结果。受红外和可见光图像在一定程度上信息互补[17]和电力设备的红外图像和可见光图像之间存在仿射变换启发，本文首先运用FAsT-Match算法完成目标在可见光图像中的定位，然后利用红外图像和可见光图像之间的近似仿射变换求出目标在红外图像中的区域，最后采用分割算法对区域分割从而完成电力设备红外图像的分割。

图2 变压器油枕红外图像FAsT-Match算法定位

本文提出的方法分为如下3步：

1）利用FAsT-Match算法在可见光图像中进行快速模板匹配，完成目标在可见光图像中的近似定位。

假设模板和可见光图像分别为1和2，如图3(a)、(b)所示，在可见光图像中运用FAsT-Match算法可求出目标所在区域，其目标定位结果如图3(c)所示，其中红色的平行四边形为模板匹配结果。具体步骤如下：

Step1 根据1和2的大小、给定的和参数初始化仿射变换网络和随机算法采样的估计点数，其中决定了网络的密度、决定了采样点数，本文、初始值分别为0.25和0.15；

Step2 对1中点的坐标进行仿射变换，去掉其结果超过目标图像边界的仿射变换；

Step3 对每一个仿射变换，采用随机算法算法估计D(1,2)，返回的参数记为d；

Step4 对所求d设定阈值，保留在阈值范围内的仿射变换参数矩阵及网络参数，判断是否满足一定的条件（最小的d值的大小或迭代次数），满足时则停止运行返回最优d及仿射变换矩阵，不满足时则继续运行Step5。

Step5 根据保存下来的仿射变换参数网络，用分支界定的法更新和值，得到新的仿射变换参数网络和采样估计点数，跳到Step3，直到满足一定的条件。

2）通过红外图像和可见光图像之间的近似仿射变换找出目标在红外图像中的近似区域。

本文实验图片来源于便携式红外热像仪在变电站采集的图片，对绝大部分红外热像仪而言，上面的可见光照相机和红外CCD固定在很近的位置，这也就是说红外图像和可见光图像两者之间存在近似仿射变换。虽然由于调焦、拍摄距离和角度不同等原因，对不同组的红外图像和可见光图像之间的近似仿射变换矩阵参数不完全相同，但通过实验证明这种差异对红外图像和可见光图像之间的近似仿射变换不会造成太大的影响。随机选取7组红外图像和可见光图像，应用Matlab Image Processing Toolbox中的图像配准工具，在可见光和红外图像中选取一些相对应的点（图4(a)给出7组中的一组），求出这7组近似仿射变换矩阵。

FAsT-Match算法求出目标在可见光中的位置（如图4(c)中平行四边形）经过7种不同的仿射变换，可求出目标在红外图像（如图4(b)）中的近似区域，如图4(c)所示，图中每一种颜色代表一组变换结果，可得出对同一台红外热像仪仿射变换参数的不同不会太大影响目标在红外图像中的定位。在实验中，为了提高可见光和红外图像之间仿射变换的通用性，采用7组仿射变换矩阵的平均值，然后上下左右移动5个像素。这样处理后，对同一台红外热像仪任意一组红外和可见光图像之间的仿射变换，只需要事先给定仿射变换矩阵参数。值得注意的是，对于巡检机器人在停靠检测点拍摄的红外图像和可见光图像，它们之间近似仿射变换参数是可以事先求出并作为已知参数给定（因为停靠点是相对不变的，而给定的参数显然比平均参数更准确）。

3）用最小的矩形框定目标在红外图像中的区域，用分割算法对这个区域分割，最后用数学形态学的方法去除噪声点。

图5(a)中的平行四边形为图4(c)中小平行四边形经过仿射变换后上下左右移动5个像素的结果，大的矩形为小平行四边形最小框定矩形。对框定的矩形区域（如图5(b)）分别采用5种不同的算法进行分割，分别为大津法（OTSU）、迭代阈值分割算法、K-means算法、区域生长法（种子生长点为灰度值最大的点）和脉冲耦合神经网络图像分割算法[17]，并用数学形态学的方法去掉噪点，分割结果如图6所示。

图3 可见光图像中的目标近似定位

图4 红外图像和可见光图像之间的近似仿射变换

图5 红外图像中的近似目标区域结果

图6 近似目标区域图像分割结果，从左到右的分割方法依次为大津法、迭代阈值分割算法、K-means算法、区域生长法和脉冲耦合神经网络图像分割算法

3 实验结果分析

为了验证本文方法的有效性，作为对比实验，分别用这5种算法对图4(b)原始红外图像分割，实验结果如图7所示。图8给出了部分原始红外图像和本文方法提取的目标区域分割的结果，受版面限制只给出了5种分割算法中的大津法。比较图6或图7中的分割结果可得出，不管是对原始红外图像还是目标的近似区域进行分割，对同一张图片用5种分割算法得到的结果大致上是相同的，局部有所差别。原始红外图像分割和本文方法分割结果对比（图6与图7对比，或图8中第4行和第五行对比），本文提出的方法去除了一部分与目标类似的背景，分割效果更好。从图6、图7和图8中的分割结果还可以看出，对电力设备红外图像来说，像天空这种背景常用的分割算法都能够很好的分割出来，这是因为天空与电力设备的对比度较大。然而，像与电力设备目标类似的背景（如电线、铁和其它干扰设备等）则很难分割出来，这是因为在图像中它们表现出来的性质往往相似。

图7 原始红外图像分割结果，从左到右的分割方法依次为大津法、迭代阈值分割算法、K-means算法、区域生长法和脉冲耦合神经网络图像分割算法

表1为不同分割方法的程序运行平均时间，本文方法程序运行时间为FAsT-Match算法、红外图像与可见光之间的近似仿射变换和分割算法运行时间的总和，其中FAsT-Match算法通常运行的时间为几秒钟到几十秒。对大津法、迭代法、K-means算法、区域生长法来说，提出的方法虽然比对原始红外图像分割的方法耗时更多，但分割的效果更好；对脉冲耦合神经网络图像分割算法而言，提出的方法不仅分割效果更好且运行时间也少。

4 总结

针对电力设备红外人工诊断不足而提出的智能诊断，其重要环节之一是感兴趣区域的获得，用传统图像分割方法其分割结果往往是过分割，这是因为电力设备红外图像是一种伪彩色图，具有如强度集中、对比度低、纹理信息不丰富等性质。红外图像是一种稀疏图像，不满足光滑连续的条件，不适合FAsT-Match算法快速模板匹配。为了解决这两个问题，受红外与可见光图像在一定程度上信息互补，提出一种新的电力设备红外图像分割方法。首先用FAsT-Match算法找到目标在可见光中的近似位置，然后利用可见光和红外图像之间的近似仿射变换求出目标在红外图像中的近似区域，最后用分割算法所求近似区域分割。采用5种常用的分割算法（大津法、迭代阈值分割算法、K-means算法、区域生长法和脉冲耦合神经网络图像分割算法），分别对原始红外图像和本文方法提取出的区域进行分割。实验结果表明，对同一张图片，分割算法的不同对分割效果没有太大差别；对同一种分割算法，本文方法比对原始红外图像分割其结果可以减少部分背景，分割效果更好。本文方法的实质是先找到目标（电力设备）在红外图像中近似区域，从而把一些与目标类似的背景排除在区域之外，最后对区域分割。值得注意的是本文方法只能够在红外图像中分割出一个目标，未来研究方向为多个或多相目标分割。

图8 第1行图片为可见光图像，第2行图片为原始红外图像，第3行图片为本文方法提取的目标区域，第4行图片为使用大津法对原始红外图像分割的结果，第5行图片为使用大津法对目标区域分割的结果

表1 不同方法程序运行时间

[1] Jian L, Lihua L, Gongquan L, et al. A substation monitoring and warning system based on infrared technology and image separating[C]//, 2008.2008.3rd, 2008, 1: 66-70.

[2] 陈衡, 候善敬. 电力设备故障红外诊断[M]. 北京: 中国电力出版社, 1998.

CHEN Heng, HOU Shanjing.[M]. Beijing: China Electric Power Press, 1998.

[3] 鲁守银, 钱庆林, 张斌, 等. 变电站设备巡检机器人的研制[J]. 电力系统自动化, 2006, 30(13): 94-98.

LU Shouyin, QIAN Qinglin, ZHANG Bin, et al. Development of a mobile robot for substation equipment inspection[J].2006, 30(13): 94-98．

[4] 周立辉, 张永生, 孙勇, 等. 智能变电站巡检机器人研制及应用[J]. 电力系统及其自动化, 2011, 35(19): 85-89.

ZHOU Lihui, ZHANG Yongsheng, SUN Yong, et al．Development and application of equipment inspection robot for smart substations[J]., 2011, 35(19): 85-89．

[5] Jadin. M. S, Taib. S. Recent progress in diagnosing the reliability of electrical equipment by using infrared thermography[J]., 2012, 55(4): 236-245.

[6] Huda. A. S. N, Taib. S. Suitable features selection for monitoring thermal condition of electrical equipment using infrared thermography[J]., 2013, 61: 184-191.

[7] Jaffery Z. A, Dubey A. K. Design of early fault detection technique for electrical assets using infrared thermograms[J]., 2014, 63: 753-759.

[8] Laurentys A. C. A, Braga A. P, Nascimento. S, et al. Intelligent thermographic diagnostic applied to surge arresters: a new approach[J]., 2009, 24(2): 751-757.

[9] Huda. A. S. N, Taib. S. Application of infrared thermography for predictive/preventive maintenance of thermal defect in electrical equipment[J]., 2013, 61(2): 220-227.

[10] Shafi'i M. A, Hamzah N. Internal fault classification using artificial neural network[C]//4th(), 2010: 352-357.

[11] Huda A. S. N, Taib S, Ghazali K. H, et al. A new thermographic NDT for condition monitoring of electrical components using ANN with confidence level analysis[J]., 2014, 53(3): 717-724.

[12] Ahmed M. M, Huda A. S. N, Isa N. A. M. Recursive construction of output-context fuzzy systems for the condition monitoring of electrical hotspots based on infrared thermography[J]., 2015, 39: 120-131.

[13] 门洪, 于加学, 秦蕾. 基于 CA 和 OTSU 的电气设备红外图像分割方法[J].电力自动化设备, 2011, 31(9): 92-95.

MEN Hong, YU Jiaxue, QIN Lei. Segmentation of electric equipment infrared image based on CA and OTSU[J]., 2011, 31(9): 92-95.

[14] 张明, 张仁斌, 高森, 等. 基于马尔可夫随机场的电力设备红外图像分割[J]. 仪器仪表学报, 2011, 32(12): 146-149.

ZHANG Ming, ZHANG Renbin, GAO Sen, et al. Power equipment infrared image segmentation based on markov random field[J]., 2011, 32(12): 146-149.

[15] 王坤, 张恺, 王力, 等. 基于两方法博弈的马尔可夫随机场红外图像分割算法[J]. 红外技术, 2015, 37(2): 134-138.

WANG Kun, ZHANG Kai, WANG Li, et al. Infrared image segmentation based on MRF combined with two-algorithm game[J]., 2015, 37(2): 134-138.

[16] Korman. S, Reichman. D, Tsur. G, et al. Fast-match: FAsT affine template matching[C]//(), 2013: 2331-2338.

[17] 李俊山, 杨威, 张雄美. 红外图像处理, 分析与融合[M]. 北京: 科学出版社, 2009.

LI Junshan, YANG Wei, ZHANG Xiongmei.[M]. Beijing: Science Press, 2009．

[18] 赵小川. 现代数字图像处理技术提高及应用案例详解[M]. MATLAB版, 北京: 北京航空航天大学出版社, 2012.

ZHAO Xiaochuan.[M]. Beijing: University of Aeronautics and Astronautics Press, 2012．

Infrared Image Segmentation for Electrical Equipment Based on FAsT-Match Algorithm

ZOU Hui，HUANG Fuzhen

(,,200090,)

Infrared Thermography(IRT) plays a very important role in monitoring and inspecting thermal defects of electrical equipment without shutting down. It has many advantages such as non-contact detection, free from electromagnetic interference, safety, reliability and providing large inspection coverage. The traditional manual analysis of infrared images may take a lot of time and efforts. To avoid the lack of manual analysis, many intelligent fault diagnosis methods for electrical equipment are proposed, but one of the greatest difficulties is to find the accurate ROI. The result of infrared image segmentation is often over-segmented when using traditional segmentation algorithms due to its over-centralized distributions and low intensity contrasts. In this paper, a novel approach based on FAsT-Match algorithm is proposed for infrared images segmentation of electrical equipment. Firstly, FAsT-Match algorithm is used for target template matching in visible image. Secondly, rough target region in infrared image is got by approximate affine transformation between infrared image and visible image. Finally, several segmentation algorithms are applied. The experiment shows the effectiveness of the method.

infrared image segmentation，template matching，affine transformation，electrical equipment，fault diagnosis

TP391.4

A

1001-8891(2016)01-0021-07

2015-08-18；

2015-12-30.

邹辉（1990-），男，江西人，硕士研究生，研究方向为电力设备故障红外诊断。

上海市电站自动化技术重点实验室资助项目（13DZ2273800）。