陈 钰,郭立强,2

(1.淮阴师范学院 计算机科学与技术学院,江苏 淮安 223300; 2.淮阴师范学院 淮安市大数据智能计算与分析重点实验室,江苏 淮安 223300)

0 引言

图像融合技术是多传感器信息融合的一个重要的分支,是采用适当的方法将多个同构或异构传感器所获得图像进行合并的过程,目的是为了去除原始图像中的冗余信息,综合红外图像和可见光图像的特征信息,从而形成一幅信息更加丰富的融合图像.近年来,随着传感器技术和计算机算力的提高,多传感器图像融合技术的应用越来越广泛.目前,图像融合技术在军事、遥感、医学等领域以及计算机视觉、目标识别和情报获取等应用中发挥了重要作用.因此,对图像融合技术展开深入的研究,对于国民经济的发展和国防事业的建设均有深远的意义.

边缘处理是图像处理的过程中的一种重要方式,是利用寻找图像中灰度显著变化区域来提取图像边缘.在小波变换基础上提出了二维平稳小波变换(SWT)[1-3],克服了小波变换所不具有的平移不变性,同时有效地保留图像的纹理等细节信息.该算法的基本思想是“填充”在标准小波变换中抽取步骤造成的间隙.这样会导致原始数据的过度确定或冗余表示,但是其具有相当大的统计潜力.在基于SWT的融合算法都存在着共同的特征,皆采用最简单的融合方法,如取绝对值最大[4],平均能量取大[5].针对这个问题,提出了本文的融合算法.

1 相关背景

1.1 SWT算法

SWT[6]是在小波变换的改进的版本,具有平移不变特性,与传统小波变换最大的区别是在每一层滤波之后不进行下采样,使得每一层的系数和原始图像的尺寸相同,便于后续的边缘检测.此外,SWT的平移不变性可以有效克服传统小波变换在融合过程中的马赛克效应和光谱失真的问题.但是,SWT只能够表达三个方向的细节图像——水平、垂直和对角线,使得图像的边缘会存在缺失的问题,特别是对具有复杂的连续曲线或丰富的细节信息的图像,SWT的融合效果相对较差.

1.2 Canny算子(红外图像)

红外成像技术通过目标和场景之间的辐射能量,表征目标和场景的温度信息,从而形成红外图像.其中红外图像相较于可见光图像,有分辨率差、对比度低、信噪比低、视觉效果模糊等缺点.但是Canny算子[7]能够较好地表示出图像的实际边缘,也是最接近于高斯函数的一阶导数,具有低错误率、高定位性等特点.其特点使得Canny算子可以有效提取出红外图像低频图像中比较清晰的边缘.在经典边缘检测算子中,文[8]表明Canny算子处理红外图像的效果较理想.但是,Canny算子对噪声敏感,需要采用一些降噪方法进行预处理.

1.3 Perwitt算子、Roberts算子(可见光图像)

可见光图像是通过捕获反射光形成的,可以获得较清晰的纹理细节.但是易受光照的影响,且弱光下的图像会有较多的噪声.Prewitt算子[9]是一种一阶差分算子[10],利用以该像素点为中心的3*3区域内的像素灰度值的差分,实现边缘检测,去除伪差.对噪声较多或者边缘不明确的可见光图像由去锐化和补偿的作用.

其计算公式如式为

Px=[f(x-1,y-1)+f(x-1,y)+f(x-1,y+1)]-

[f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)]

(1)

Py=[f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)]-

[f(x-1,y-1)+f(x,y-1)+f(x+1,y-1)]

(2)

其中,Px是Prewitt算子从水平方向计算出的该像素点的灰度值;Py是Prewitt算子从垂直方向计算出的该像素点的灰度值.两个方向的Prewitt算子的模板如下:

(3)

(4)

其中,dx是Prewitt算子水平方向的模板,dy是Prewitt算子垂直方向的模板.

Roberts算子[11]是一种一阶线性算子,利用斜率梯度的局部差分来查找边缘.梯度的方向与边缘的方向垂直.

其差分的计算方法,如式(5)和式(6)所示:

(5)

(6)

Roberts算子的优点是可以准确地定位到边缘.但易受到噪声的干扰.而Prewitt算子对噪声较多的图像有抑制噪声的作用.所以,本论文采用Prewitt算子和Roberts算子相结合处理可见光图像的方法.

1.4 交叉双边滤波器

交叉双边滤波器[12]是一种局部与非线性的滤波器.非线性的滤波器克服了线性滤波器边缘模糊的缺点.交叉双边滤波器同时考虑了图像中相邻像素间的灰度相似度和几何贴进度.滤波的权重取决于Euclidean距离和灰色空间距离.该滤波器的优点是平滑图像和使用相邻像素保留图像边缘,但计算复杂度较高.其公式如式(7)所示:

(7)

2 基于SWT和边缘检测的图像融合方法

本文应用二维SWT对红外图像和可见光图像进行分解,得到一个低频系数和三个高频子系数.高频系数采用交叉双边滤波器进行处理,平滑图像的同时还可以保留边缘细节信息.低频系数根据红外图像和可见光图像不同的成像特点,选取不同的边缘检测算子进行处理.

由于红外图像具有视觉效果差、分辨率低等缺点,Canny算子的高定位性可以在分辨率较低的红外图像中更好地寻找有用的信息.因可见光图像的细节信息具有丰富和清晰的特点,故对图像边缘的提取有较高的要求.Roberts算子对45度和135度方向进行边缘提取,两个方向的边缘提取结果取平均.Prewitt算子对垂直方向和水平方向进行边缘提取,两个方向的边缘提取结果取平均,然后作差,获取到遗漏的信息.同时,Roberts算子定位精度高,对噪声比较敏感;Prewitt算子有抑制噪声的作用,但是边缘提取能力相较于Roberts较弱,定位出的边缘较粗.所以,使用Prewitt算子和Roberts算子共同处理可见光图像综合了二者的优点,从而能够更好地提取出图像细节信息.另外,为了降低噪声对Roberts算子的影响,在使用Roberts算子之前需要对源图像进行中值滤波[13].

然后,采用点火次数较大的高频系数[14]作为融合图像的高频系数;低频系数的融合则采用“取平均”融合规则并进行对比度拉伸.由于“取平均”后图像的灰度值集中在170以上,使得图像整体偏亮.因此,采用对比度拉伸[15]方法对图像的灰度分布进行调整.最后应用SWT逆变换得到融合后的图像.具体的算法流程如图1所示.

图1 基于SWT和边缘检测的红外与可见光图像融合算法流程图

3 实验结果与分析

3.1 评价方法

对图像融合的评价标准分为两个部分:主观评价标准、客观评价标准.其中,客观评价标准更加科学,可靠和具有说服力.本论文所使用的客观评价指标如下:

3.1.1 信息熵(IE)

信息熵[16]计算去除冗余信息后的平均信息量,用于度量信息源出现的概率.IE越大,图像所涵盖的信息量和信息价值越大,该指标的计算公式为

(8)

其中,pi是事件为i的概率.

3.1.2 标准差(SD)

SD反映了图像像素点间相对平均灰度值的离散情况[17],用于衡量图像信息的丰富程度.SD越大,图像信息越丰富.该指标的计算公式为

(9)

3.1.3 差异相关性(SCD)

SCD通过比较原图像和融合图像的差图间的相关性[18].SCD越大,融合图像越好.其计算公式为

D1=F-S2

(10)

D2=F-S1

(11)

SCD=r(D1,S1)+r(D2,S2)

(12)

(13)

3.1.4 视觉信息保真度(VIFF)

VIFF是一种基于视觉信息保真度的客观评价指标[19],VIFF的值越大,融合图像的质量越高,其计算公式为

(14)

式(14)利用扭曲的视觉信息(VIND)和非扭曲的视觉信息(VID),计算出每个自带的视觉信息保真度,最后,根据权重计算出VIFF(A,B,F).

3.2 融合结果分析

为了有效地验证本论文的算法,在TNO数据集[20]中选取了四组红外图像与可见光图像,从客观和主观两个方面与其他五个传统算法进行比较.具体的对比算法为:离散小波变换(DWT)[21],交叉双边滤波变换(CBF)[22]、各向异性扩散融合算法(ADF)[23]、四阶偏微分方程(FPDE)[24]和加权最小二乘滤波算法(WLS)[25].其中,CBF同时考虑了相邻像素的灰度相似度和几何接近度,优点在于平滑图像的同时保留了边缘.ADF利用各向异性扩散方法对源图像进行变换,细节层和基础层分别采用Karhunen-Loeve变换和加权线性叠加方法,可以将源图像的信息尽可能保留下来.FPDE将四阶偏微分方程加入图像融合中,再对细节图像进行主成分分析.在平滑图像的同时,保留了源图像的信息.WLS使用一种基于加权最小二乘的边缘保持平滑算子进行多尺度细节提取,对平滑区域的信息进行平滑.具体的实验对比结果见图2-5.

图2 第一组图像的融合结果

图3 第二组图像的融合结果

图4 第三组图像的融合结果

图5 第四组图像的融合结果

第一组图是户外营地图.红外图像人像很亮并且清晰,树木和山丘模糊,栏杆缺失.可见光图像树木、亭子、山丘都较清楚,人影缺失.CBF算法细节清晰.WLS算法人影清晰.本论文算法融合后的图像房子、山区有和人像的纹理信息更清晰,并没有明显噪声,视觉效果优越.

第二组图是楼外图像.红外图像有清晰的人像,室内用于照明的灯光,但是树木和房屋模糊.可见光图像有树木、房屋的纹理信息和清晰可见的地砖拼接纹理,但是缺失人影.WLS算法的树木细节清晰.本论文算法融合后的图像看到红外图像中正在跑步的人影,也可以看到明显的地砖纹理.相较于其他算法,没有明显的噪声,也没有ADF算法中突出的边缘和DWT中的伪影.

第三组是亭前打伞图.红外图像有清晰的行走男士,可以看到男士清晰的衣服纹理,但树木、亭子模糊.可见光图像有明显的树木,亭子纹理信息.ADF算法上方树木视觉效果较好.WLS算法的男士衣服纹理清晰.本论文算法融合后的图像有可见光图像清晰的树木纹理和红外图像的男士的衣服纹理.相较于其他算法,本论文算法的噪声明显减少.

第四组是公园设施图.红外图像围墙和绿化清晰.可见光图像由于夜晚,细节信息缺失,但相较于红外图像,可见光图像围墙外的目标信息较清晰.WLS算法树木纹理较清晰.本论文算法融合后的图像围墙清晰同时围墙外的目标信息.

如表1-4的客观指标可见,本论文算法客观指标均优于其他算法.通过如上客观评价指标可知,本论文的算法的融合图像相较于其他5个传统算法,更好地保留了图像的信息量、边缘信息也更为丰富、视觉效果更好.综合主观评价和客观指标可知,本论文算法融合后的图像效果良好.

表1 第一组图客观指标

表2 第二组图客观指标

表3 第三组图客观指标

表4 第四组图客观指标

4 结语

本论文提出了一种基于SWT和边缘检测的红外与可见光图像融合算法.使用SWT算法分解得到高低频系数.分别对高低频系数采用交叉双边滤波器和Canny、Prewitt、Roberts算子融合处理,有平滑图像、保留有效信息、提取细节信息的作用.采用点火频率、取平均后以及对比度拉伸对高低频系数进行融合.对融合后的高低频系数进行SWT逆变换得到融合后的图像.实验结果表明,本文算法的客观指标均优于其他算法,在保留信息量、边缘提取和主观感受上有较大的提升.