朱 莉，赵 俊，傅应锴，张 晶，沈 惠，张守峰

(南昌大学 信息工程学院，江西 南昌 330031)

红外热成像是物体热辐射产生的电磁波转换为人类视觉可分辨图像的过程。红外热图像通过灰度级反映不同物体的差异，具有测量范围广、响应快、非接触式测量等优势，在特定场景下可代替可见光图像[1-2]。目标区域(Region Of Interest，ROI)分割是红外热图像处理中的基本问题，从复杂的背景中分割出目标区域，为后续的目标识别等任务提供基础。经典的图像分割方法可分为基于边缘、基于区域和基于层的分割[3]。但是，红外热图像往往存在信噪比低、对比度低等缺陷[4]，为目标区域分割带来很大的困难。文献[5]中采用大津法(Otsu算法)用于红外热图像的人体分割，但当红外热图像边缘模糊和区域不明确时会造成严重的过分割。文献[6]采用模糊C均值(Fuzzy C-Means，FCM)算法用于红外舰船目标的分割，可通过无监督迭代分类实现低信噪比图像目标区域分割。然而该类方法对噪声很敏感，需人工设定类别、种子点、聚类中心等参数，聚类性能不稳定。文献[7]采用著名的Chan-Vese模型，克服了信噪比低且边缘模糊的问题，实现了红外行人的有效分割。但该模型自适应能力较差，在背景复杂的情况下会造成误分割。

近年来，机器学习算法被广泛应用于图像分类以及识别等。常用的算法有支持向量机、隐马尔可夫模型及人工神经网络等。然而，传统的机器学习算法在训练模型前需要人工提取特征，难度大且耗时长，会引起模型过拟合问题，造成分割效果不理想。随之，深度学习算法在一些图像分割比赛中取得了突破性进展，并开始应用于红外领域，实现了人体动作的识别、健康监测[8]和红外与可见光图像融合等。2017年，LU等[9]利用神经网络完成多波段红外图像的分割，直接通过有标签图像样本训练并优化网络，具有强大的复杂环境适应能力，且无须过多的人工干预。同年，文献[10]中将全卷积网络用于红外乳腺图像的分割，即使在小数据集的情况下，该算法也能通过微调或数据扩增等策略表现出良好的分割效果。与此同时，条件随机场凭借其充分利用图像上下文信息的优势，开始应用于室内场景分割和合成孔径雷达图像的分割等。

笔者在前期研究[11-12]中提出了两种基于多模态特征图融合的目标区域分割算法，通过对比度、熵以及梯度特征构建多模态特征图，实现目标区域分割。这两种算法在实际采集到的红外太阳能板数据集上已经取得很好的分割结果。但是，在目标区域不连通的情况下，则需要额外计算或手动标记更多的种子点，在一定程度上会导致目标区域漏分割问题。

针对上述现有的经典分割算法存在需人工干预、复杂场景下漏分割以及误分割率高等问题，在已有研究[11-12]基础上，笔者进一步提出一种基于全卷积神经网络(Fully Convolutional Network，FCN)和稠密条件随机场(Dense Conditional Random Field，DCRF)的深度学习分割算法，即FCN-DCRF。首先，对原始红外图像标注含有二分类语义信息的标签，即目标区域和背景；其次，将有标签数据放入全卷积网络进行有监督训练，对图像进行像素级别语义分类，得到每个像素的类别概率，完成粗分割；再次，将粗分割图像作为稠密条件随机场的输入，利用图像的空间上下文信息计算像素势能，进而实现精分割，得到最终的分割结果。本课题组采集了实际的太阳能板红外热图像数据集，并将FCN-DCRF应用于数据集进行训练和测试。与经典分割方法中的大津法、聚类分割方法中的FCM、Chan-Vese模型及本课题组前期提出的算法[11-12]进行了客观性能对比。

1 FCN-DCRF分割算法

1.1 算法流程

针对红外热图像，笔者提出了一种基于深度学习的目标区域分割算法——FCN-DCRF，算法流程如图1所示。

图1 FCN-DCRF算法流程图

这种算法主要分为粗分割和细分割两个模块。粗分割模块：为原始红外热图像打造含有语义信息的标签，放入全卷积网络训练以得到最优模型进行特征提取，实现像素级别语义分类，完成粗分割。细分割模块：以稠密条件随机场作为后处理过程，考虑空间上下文信息，通过计算像素一元势能和二元势能，推测出各像素点最可能的类别标签，得到最终的精分割结果。

1.2 全卷积网络实现粗分割

笔者提出的FCN-DCRF算法首先利用全卷积网络完成红外热图像目标区域的粗分割。全卷积网络可以接受任意尺寸的图片，不受卷积和池化过程对图片大小的影响，实现端对端分割。FCN-DCRF中采用的全卷积神经网络架构结构如图2所示。5层卷积层和5层池化层交替连接，后接3层全连接层，最后经过上采样完成像素级别的分类。

图2 全卷积神经网络架构

输入层：输入原始红外热图像，大小为320×240。

卷积层C1：用于特征提取。卷积是输入图像不同局部的矩阵和卷积核矩阵各个对应位置的权值相乘，再通过激活函数输出卷积层的特征图。卷积核大小为3×3，步长为1，个数为64，输出特征图尺寸为518×438。C1的输出公式如下：

C1i=(f(ωi*a))，i=1，…，N，

(1)

其中，f(·)指修正线性单元(Rectified Linear Unit，ReLU)激活函数；C1指卷积层输出的特征图；ωi指卷积核矩阵位置i的权值，其在随机初始化后经梯度下降法不断更新达到最优；a代表输入图像；*代表卷积；N值取9。C2～C5层的计算过程同C1层。

最大池化层P1：池化层夹在两卷积层之间，作用是降维。池化层的采样步长为2，逐个对518×438区域取其中最大值作为池化层处理后的元素值。输出特征图的尺寸为上一层输出的1/2，输出公式如下：

P1i=g(C1i) ，

(2)

其中，g(·)指最大池化操作；P1i指最大池化层的输出特征图。P2～P5层的计算过程同P1层。

全连接层F1～F3的计算过程同以上所有卷积层的，但F1卷积核大小为7×7，F2和F3卷积核大小为1×1，步长均为1。经过5次卷积和池化后，输出特征图尺寸分别缩小为原始图像的1/2，1/4，1/8，1/16，1/32。上采样层：上采样实际上是插值的过程。选择对第5层输出的图像进行32倍、对第4层输出的图像进行16倍或是对第3层输出的图像进行8倍上采样到原图大小。

1.3 稠密条件随机场实现细分割

粗分割模块利用深度学习算法实现了像素级别的类别分类，可有效地实现目标区域的分割。然而，全卷积网络没有考虑图像的上下文信息，导致分割边缘粗糙。因此，在卷积神经网络的处理后加入条件随机场，利用条件随机场中的二元势能获取图像的上下文信息，建模预测之间的相互作用，与全卷积网络的分割有效性相结合，进一步地提高分割的准确率。对于一张W×H的图像，设I为整幅图像的观测向量，X为所有观测向量对应的类别标签。条件随机场可用吉布斯分布[13]表示：

(3)

(4)

其中，E(X|I)为能量函数。在能量函数中，ψi′(xi′)=-logP(xi′),是全卷积网络最后一层概率输出的一元势能，P(xi′)是像素点i′的类别标签分配概率；ψi′j′(xi′,xj′)是模型的二元势能函数，是为了描述图中像素点i′和j′之间的空间上下文关系，其定义为

(5)

其中，i′和j′的取值范围是[1，N′],其中N′=WH；pi′和Ii′分别代表原始测试图像中像素点i′的坐标位置和强度；|pi′-pj′|指像素点i′和j′之间的距离；|Ii′-Ij′|指像素点之间的灰度值差异；ω(1)和ω(2)指模型权重；θα，θβ和θγ是高斯核的标准差参数。

根据高效平均场近似算法，当X满足式(6)时，像素点类别分配达到最优。

(6)

2 实验

2.1 实验数据采集与标注

作为太阳能发电系统的核心组成部分，太阳能板是红外热图像处理技术的一个重要应用领域[14]。首先，在场景复杂的情况下，不同区域的热差会使太阳能板与背景区域在红外热成像时呈现出一定的灰度差异，且太阳能板的红外热图像纹理、边缘信息丰富，有利于提出复杂背景下红外热图像目标区域的分割算法。因此，对太阳能板红外热图像的研究具有重大的理论意义。其次，基于红外热成像的太阳能板区域的精准分割，为后续定期的故障检测提供方便，节省了人为巡检排查的成本，具有很大的实际研究意义[15-16]。

(1) 红外热图像实验数据采集。在中国江苏林洋光伏科技有限公司2MW并网光伏电站采集了红外热图像来构建数据集。数据采集时间为2016年7月至8月，采集每天早、中、晚不同室外温度下的光伏电站太阳能板。采集设备为大立科技DM63非制冷焦平面在线式红外热像仪，图像大小为320×240。经严格的数据筛选，剔除由仪器不稳定、恶劣天气、不明原因造成图像模糊等不合格数据，最终获取159张图像构成数据集。其中，20%用于测试，80%用于训练，并采用五折交叉验证对算法性能进行客观评估。

(2) 红外热图像实验数据标注。使用MATLAB R2016b标注，数据集的语义标签设定为：目标区域(红外热太阳能板)和背景区域(非太阳能板的所有场景)两类。对159张图像进行标注的效果如图3所示。

图3 红外热图像原图与对应的语义标签(白色代表目标区域，黑色代表背景)

2.2 计算配置及参数配置

由于计算量大，采用配有GTX1080显卡、Intel(R) Core(TM) i5-7400@3.00GHz处理器和8.00 GB内存的计算机完成实验，操作系统为Ubuntu16.04。在PyTorch框架上用VGG-16模型初始化全卷积神经网络，再在Caffe框架上完成FCN-DCRF训练与测试。网络训练时主要的参数设置及训练时间如表1所示。

表1 主要参数及训练时间

2.3 算法性能评价指标

文中采用4种评价指标评估算法的性能，即准确率(Precision，P)，又称查准率；召回率(Recall，R)，又称查全率；Fβ指数(F-measure，Fβ)和J指数(Jaccard-measure，J)。4个指数的定义如下:

(7)

(8)

(9)

(10)

其中，S1代表算法提取到的正确像素点(包括边界点)集合，S2代表算法提取区域的所有像素点集合，S3代表人工提取区域的所有像素点集合，运算符| · |表示该区域像素点的统计。Fβ指数是召回率和准确率加权调和的平均。当置信度β=1时，Fβ就是最常见的F1指数。F1指数越接近1，代表分割效果越好。J指数用来衡量各算法分割与人工分割结果的区域相似度。同样，J指数越接近1，代表分割效果越好。

3 结果及分析

表2 五折交叉验证结果

表3 算法分割性能评价指标平均值对比

对Otsu、FCM、Chan-Vese及FCN-DCRF分割算法的各项分割性能评价指标进行T-test检验，统计检验结果如表4所示。综合表3和表4可知：

(1)文中算法的分割性能优于另外3种算法的，且其性能指标R、F1、J具有统计意义。

(2)文中算法得到的P显著高于Otsu算法的，虽然与FCM、Chan-Vese相比没有显著提高，但仍然高于这两种算法的，且能满足实际应用中的分割要求。

表4 算法性能评价指标的T-test检验

注：#表示p>0.05，*表示p<0.05，***表示p<0.001，p是统计检验的值。

图4是各算法对5种典型红外热图像的分割结果。由图4可知：

(1)图4第1列为第一类图像，其特点是太阳能板纹理丰富，边缘明显。对于此类图像，文中算法可以精准地分割出目标区域，而其余3种方法均受纹理影响，出现了过分割现象。

(2)第2列为第二类图像，其特点是目标区域与背景区域边界模糊。对于此类图像，文中算法能准确分割，而其他3种方法均将目标区域以外的区域误分割为目标区域。

(3)第3列为第三类图像，其特点是目标区域与背景之间界限清晰但相互交叉。对于此类图像，其余3种方法都未能准确分割中目标区域嵌入的一小部分背景(图左中部分)，文中算法能较好地完成分割。

(4)第4列为第四类图像，其特点是背景复杂，与目标区域温差不大的区域较多。如图右上角小块区域及图下半部区域均是背景。对于此类图像，其余3种算法出现了明显的误分割，文中算法能很好地提取目标区域。

(5) 第5列为第五类图像，其特点是背景简单，但目标区域纹理信息较弱。对于此类图像，其余3种算法将大量非目标区域误判为目标区域。因此，文中算法分割结果明显优于对比算法的。

图4 算法分割结果对比(a)测试原图；(b)人工分割标准；(c)FCM算法；(d)Chan-Vese算法；(e)Otsu算法；(f)文中算法

为了客观比较分割算法的性能，分别计算了图4中图像的P、R、F1指数和J指数。表5的结果表明，FCN-DCRF算法客观分割效果均明显优于3种对比算法的。综合图4和表5可得出：

(1) 在背景复杂、较难分割的条件下，其余3种算法将大量非目标区域误判为目标区域，少数情况下它们的P会高于文中算法的，但文中算法依旧能够在不同背景下表现出良好的分割效果，R、F1指数和J指数都远高于对比算法的。

(2)其余3种算法仅适用于一些边界明显的简单场景图，文中算法能很好地满足复杂场景下目标区域分割。

另外，计算了FCM、Otsu、Chan-Vese和FCN-DCRF测试一张图片所用时长。以均值标准差的形式分别表示为4.451 30.611 4 s、0.066 50.023 2 s、2.798 20.595 0 s和9.651 10.079 1 s。FCN-DCRF由于需要进行多层神经网络层的特征计算，耗时会变长，但其分割指标和均优于运算速度最快的Otsu算法，并且FCN-DCRF的运算速度可满足实际图像处理的要求。

表5 算法性能评价指标对比

图5 文中算法与文献[11-12]中算法分割结果的对比

作为全卷积网络中的特征提取器，卷积层能提取到数据不同层次的抽象特征。图6展示输入一张红外热图像，C1～C5特征图的可视化伪彩色结果，只取每一层中64张特征图。由图可见，C1输出的特征图细节较为清晰，提取到了图像的边缘。C2～C5的特征图分辨率逐渐降低，部分特征图中太阳能板棱角区域被显著激活；另一部分特征图中背景区域被显著激活。因此，全卷积网络可在不同层提取不同的特征，从而实现目标区域分割。

图6 全卷积神经网络卷积层的特征图可视化

4 结束语

针对复杂背景下红外热图像分割困难，现有算法存在误分割、漏分割等问题，笔者提出了一种基于深度学习的全卷积网络和稠密条件随机场的分割算法，即FCN-DCRF。该算法首先利用全卷积神经网络对图像进行特征提取和像素级别的语义分类，得到粗分割结果；再结合稠密条件随机场算法，通过计算像素一元、二元势能以及空间上下文信息，进一步优化粗分割结果，实现精分割。将该算法应用于实际采集的太阳能板红外热图像集，实验结果表明，这种算法获得的查全率、F1指数和J指数都明显高于FCM、Chan-Vese和Otsu算法的；同时与本课题组前期的研究算法对比，这种算法能有效解决目标区域不连通情况。因此，FCN-DCRF具有分割性能优、耗时短、人工干预少的优点，可广泛用于复杂背景下的红外热图像分割。