郑启亮,姜金岭,吕思宇

(1.中车青岛四方机车车辆股份有限公司，山东 青岛 266000; 2.北京航天测控技术有限公司，北京 100041)

0 引言

工业车辆的配电柜和电气箱，是涉及到整车安全运行的核心部件，随着智能控制技术的发展，配电柜和电气箱也变得越来越复杂，在生产和调试过程中，操作人员需要根据繁杂且巨量的工艺文件进行相应操作，但即使如此，由于操作人员的主观性和工艺文件的复杂性，出错的概率仍然比较高[1]。虽然有质检人员及各种视觉检测系统对该操作进行复检和检测，但是由于目视检测和基于可见光视觉的检测方式固有的能力缺陷，对其中的虚接、短接等缺陷仍然无能为力，随着设备的运行，这些缺陷造成的系统隐患如不能及时解决，造成严重的后果。

可见光图像和红外图像融合是多传感器图像融合研究的重要方向，可见光图像能够记录被检测物体的光谱信息的反射特性，而红外图像能够记录被检测物体的热辐射信息，将可见光图像和红外图像融合，能够有效的结合两种检测方式的信息，实现异常发热部位的可视化特征检测和温度特征检测[2-3]。

本文对基于手机端的红外发热检测技术进行研究，以检测设备试运行或运行的初期发生的异常发热情况，来进一步确保设备正常运行。本文的研究为克服工业车辆配电柜和电气箱所在的狭小空间，采用基于手机端的异常发热检测方式，由操作人员手持检测设备对各检测部位进行便携式检测，同时解决由于便携式检测设备造成的拍摄距离和拍摄角度不确定造成的对检测算法的各种干扰问题。

本文采用基于手机摄像头和红外摄像头的集成设备进行图像检测，为解决便携式设备的上述检测困难，采用知识库创建，图像获取，图像距离获取，图像融合参数校准，图像融合和发热检测的检测方法。本文的涉及流程如图1所示。

图1 电气设备异常发热检测设计流程图

1 图像获取

本研究以基于手机端的手机摄像头和红外相机的便携式检测设备为基础，通过手机端的可见光摄像头和红外相机采集被检测对象的可见光图像和红外热图像，由于检测环境为开放的工业环境，可能具有外界光照或者照明不足的情况，由于配电柜和电气箱的部署空间往往复杂且狭小，因此拍摄过程由操作人员自行决定拍摄位置，使检测设备能够尽可能清晰的获取被检测对象的全貌。

基于手机摄像头和红外相机的检测设备，手机摄像头选用4 000万像素的高清工业相机，用于获取被检测对象的可见光图像的细节，用于质检追溯和后续其他研究，检测过程采用手机摄像头补充照明，用以尽量减少环境光照造成的影响。红外相机采用640*480的高分辨率红外热像仪，对被检测图像实现精度±2 ℃的发热检测。由于图像的采集为操作人员完成，因此，经过统计，采集图像的位置存在15 cm的偏差，采集角度存在10°的偏差。

2 图像距离获取方法

设备的异常发热情况多种多样，因此，对配电柜和电气箱进行高效的检测依赖创建完善的判断规则，本文的知识库包括检测对象的位置信息、温度信息以及用于检测判别用的各种历史数据。检测对象的位置判断，尤其是图像距离的获取，是检测过程中重要环节[4]。

配电柜中的各种元器件和接口端子等待检测对象具有多种形状、颜色、特征，并且排布密集，没有规律可循，因此，想准确定位配电柜中各关键检测对象的位置，需要将待检测图像进行图像配准，将事先建立的模板图像中标定的位置和连接状态知识库转换到待检测图像中。配电柜图像呈现的检测对象复杂且采集图像角度不确定，因此，本文采用局部特征来进行图像的配准，本文选取的局部特征包括点、线、边缘、形状、感兴趣区域等[5]。

FAST角点基本原检测候选特征点周围一圈的像素值[6]，首先设定候选点，对候选点的周围邻域进行遍历，如果周围邻域内有超过阈值数量的像素点的灰度值与该候选点的灰度值差别够大，则将该候选点归入确认的特征点序列。

其中:I(x)为圆周上任意一点的灰度，I(p)为圆心的灰度，εd为灰度值差值阈值，如果N大于给定阈值t，则认为该中心像素点为一个角点。本文选取半径为3的Bresenham圆，如图2所示，使用圆周长为16个像素点来判定其圆心像素P是否为角点。在像素点的相邻区域判断连续的12个像素点，若这些像素点均大于或者小于中心像素点并且相差大于特定阈值，则认为该中心像素点为一个角点。

图2 用于检测特征点的Bresenham圆

使用FAST算法提取特征后，需要对其进行描述才能用于后续的匹配，SIFT特征采用128维的特征描述子，将会占用512bytes的空间，SURF特征采取64维的描述子，也将占用256bytes的空间，对于复杂背景的配电柜图像，特征点成千上万，则SIFT或SURF特征描述子将占有大量的内存空间和运行时间，BRIEF算法[7]基于汉明距离的计算可以用异或操作然后计算二进制位数来实现的思路。

图像中的小块区域可以通过对数量很少的点对进行灰度比较进行有效的区分[8-9]。因此，对一个S*S的图像区域p定义一个测试如下：

将τ测试按照如下的公式排列，即可得到BRIEF特征：

ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。通过提出一种灰度质心的方法来解决FAST特征不具有方向的问题：

依据该主方向提取BRIEF描述子，并对特征点进行匹配，采用互相关的描述算法，依据特征点邻域内各像素灰度值的互相关系数作为匹配的判别标准。具体实现步骤为，首先在模板图像上的各特征点的特定的邻域范围内取像素点，以此为参考点和参考标准在待检测图像上寻找对应的匹配点，进行特征点相关区域的相关系数计算：

对其进行归一化：

NCC=

特征点匹配时选取相关系数中最大的相关系数对应的特征点作为该参考点的匹配点，特征点匹配情况如图3所示。

图3 基于ORB的特征点匹配方法

特征匹配之后，根据准确匹配的特征得到模版图像和检测图像的仿射变换矩阵，如图4所示。

图4 仿射变换

ORB在速度方面有着极强的效果，通过对配电柜图像算法运行速度对比，运算时间是SURF算法的十分之一左右。

根据仿射变换的空间信息，即可得到当前拍摄图像同原图像的空间关系，该空间关系用于后续图像融合参数的校准。

3 图像融合参数校准

由于设备的部署工作均由操作工人完成，因此不可避免的存在拍摄角度和相对位置的差异，因此本方法在感兴趣区域获取后采用透视变换，对零部件的形位尺寸进行纠正，为后续的形位尺寸测量做准备。

本文采用平行光轴的红外可见光双目配置进行图像匹配和融合，由于红外图像和可见光图像在图像细节和被检测对象的特性上的差别，因此传统的基于模板和特征点匹配的算法很难达到准确的图像融合，因此还需要考虑被检测对象的目标距离。可见光图象和红外图像的融合误差为：

其中:f为焦距，lpix为像素大小，dx为基线长度，Df为已经经过校准的光学距离，本文的研究中，将知识库中设置好的模板图像作为标准图像，将拍摄模板图像时的手机距离和角度作为经过校准的光学距离。Dobj为当前被检测对象的距离，如果被检测对象的距离在经过校准的光学距离上，则图像融合误差为0，否则需要对其进行误差补偿[10]。

红外图像和可见光图像除了通过距离偏差进行补偿，由于红外相机和可见光相机的焦距不同，导致空间被检测对象在两种图像上的成像尺度不一样，因此需要将红外相机和可见光相机图像进行缩放并使得同一物体在红外图像和可见光图像上的像素尺寸一致。

可见光和红外相机的标定如图5所示。

图5 可见光与红外相机标定算法框架

根据光学误差原理，图像融合算法的框架如图6所示。

图6 图像融合算法框架

根据图像匹配获取的待检测图像和知识库中的模板图像，即可获取待检测图像采集时当前被检测对象的距离。得到融合误差，进而进行图像的融合。

4 图像融合

可见光图像与红外图像的融合可分为三个方面：像素级融合、特征级融合和决策级融合，其中像素级的融合可通过图像距离获取和图像融合参数校准完成，为提高被检测对象的特征提取效率和检测精度，还需对其进行特征级融合。由于红外相机的分辨率为640*480，因此和可见光相机图像相比具有分辨率差、对比度低、信噪比低和视觉效果模糊的特点，红外图像的像素亮度分布和待检测目标的发射特性无线性关系[11]。

本文采用基于小波理论的金字塔变换的方法进行模糊特征区域的特征匹配。1989年，S.Mallat提出了多分辨率分析，小波分析窗口大小固定、形状可变，其时间窗口和频率窗口都可改变，低频部分的频率分辨率较高而时间分辨率较低，高频部分反之。小波分析将待处理信号分解为一系列小波的叠加，而组成该系列的所有小波函数均由同一母小波函数经过平移处理和尺度放缩转化而来。母小波ψ(t)经过位移τ后，再在不同尺度a伸缩的小波系列为：

小波变换如下：

其中:ψ*为ψ的共轭，基本的小波ψ必须满足以下条件：

目前，对尺度离散的方法是幂数级离散化，即令a取a=a0m,a0> 0,m∈Z，此时对应的小波函数为：

通常对τ进行均匀离散化取值，以覆盖整个时间轴。为了防止信息丢失，根据Nyquist采样定理，采样率大于等于该尺度下频率通带的二倍，即当m增加1时，尺度a增加一倍，对应的频率减少一半，则尺度函数和小波函数为：

图7 图像可分离二维多分辨率的三级分解

根据Mallat多分辨率理论，小波分解过程可以无限进行下去，但是，随着分解级数的增加，除了计算量变大，重构后的图像会出现失真，失去识别能力。对各个级别的小波分解图像进行模板匹配，模板匹配公式如下：

R(x,y)越接近于0，说明图像在该像素处匹配度越高，从而实现特征级的配准[12]。

图8 可见光与红外三级小波分解图

本文利用可见光图像和红外图像的三级小波分解进行图像融合，采用低频区域能量最大的融合规则，以保持尽可能多的场景信息。

5 异常发热检测

根据创建的知识库，不同元器件在运行期间的温度值有一个正常的范围，在检测过程中记录该元器件的多个时间点的实时温度，同知识库中的规则进行对比，判断是否存在异常发热情况，红外相机在户外的检测精度小于±2℃，能够满足电气设备的异常发热检测。

6 实验及分析

实验通过选取5列车辆的配电柜的各4组图像，共计360个元器件接头的发热检测区域，通过本文检测设备检测位置和温度，同经过计量校准的fluke测温仪的温度进行对比。检测结果如表1所示。

表1 实验结果统计

7 结束语

为解决车上配电柜和电气柜短接、虚接等造成的异常发热的情况，解决人工检测效率低、主观性强的问题，本文提出了基于手机的便携式可见光和红外融合的异常发热检测方法，首先采用FAST算法提取特征点，并由BRIEF描述子对特征点进行描述实现了测试图像和模版图像的匹配，完成了先验知识的获取，通过仿射变换获取校准的拍摄距离和当前检测对象距离的关系，进行可见光图像和红外图像的精准匹配，之后在HSV空间中进行图像融合显示，并且最终进行异常发热的检测。通过实验，本文的方法实现了高效的检测，并且位置精度在±4像素内，温度精度在±2℃以内，能够满足车上设备的异常发热检测。但是，本文的方法对部分复杂背景下，空间分布差异较大的被检测对象检测结果仍然不稳定，这主要是由于手机摄像头和红外相机本身检测特性的缺陷，后续应该集成测距仪、环境温度传感器等模块，提高检测精度和检测稳定性。