张淑艳 朱 娟 王 超 田纪亚 曾小慧

1(长春光华学院电气信息学院 吉林 长春 130033) 2(井冈山大学电信学院 江西 吉安 343000)

0 引 言

遥感图像通常分为含有丰富光谱信息的多光谱图像，以及具有较高空间分辨率的全色图像[1]。为了得到同时具有丰富光谱信息与较高分辨率的遥感图像，通常需要将多光谱图像与全色图像进行融合，即遥感图像融合[2]。

近年来，国内外学者提出一系列的遥感融合方法，如Deng等[2]利用局部方差特征设计了一种遥感图像融合算法，通过滑动窗口计算图像的局部方差，利用IHS变换获取图像的亮度分量，通过局部方差特征求取亮度分量以及SPOT图像的权重，进而通过IHS逆变换获取融合图像。实验结果显示，这种方法融合的图像具有较好的空间信息，清晰度较高，不存在模糊现象。但由于IHS变换获取的亮度分量与全色图像存在一定偏差，导致融合结果中存在光谱失真现象，使得融合图像的颜色偏深。Zhang等[3]将PCA方法与稀疏表示用于遥感图像的融合，通过PCA方法建立高空间分辨率的多光谱图像字典，使用将稀疏表示产生的残差插值作为补偿，进而实现遥感图像的融合，实验结果显示，该方法融合的图像具有较好的空间分辨率，不存在块效应等，融合图像的细节较为清晰，而且图像质量指数也较好。但由于PCA方法存在光谱丢失的缺陷，导致融合图像中具有光谱扭曲的缺陷，融合图像的人眼视觉有待提升。赵学军等[4]通过shearlet变换获取图像的高频系数与低频系数，利用OMP算法获取稀疏系数，并利用图像的能量信息完成低频系数的融合，采用PCNN方法来实现高频系数的融合，通过OMP重构及shearlet逆变换获取融合图像。实验结果显示，该方法具有较好的融合图像的视觉效果，其融合图像保持了源图像的绝大部分光谱色彩信息，并改善了图像的空间细节信息，其平均梯度值与信息熵分别保持在14.3、16以上。但是该方法在低频系数融合时，只考虑了图像的能量信息，而忽略了图像的光谱信息特征，使得融合图像中存在光谱扭曲等缺陷，而且shearlet变换具有下采样过程，不具备平移不变性，使得融合图像存在模糊效应。

为了使得融合的遥感图像包含更多的光谱信息与空间信息，本文提出了一种非下采样Contourlet变换与区域信息特征相结合的遥感图像融合算法。通过HSV变换分解出多光谱图像的亮度分量。利用具有平移不变性的非下采样Contourlet变换对亮度分量以及全色图像进行分解，得到高频系数与低频系数。在低频系数融合时，通过图像的区域能量度量图像特征信息的大小，并通过信息熵度量图像中的光谱信息，利用图像的区域能量以及信息熵特征作为低频系数的融合依据，完成低频系数融合。通过图像的区域方差相似度对图像块的区域方差差异度进行度量，建立高频系数融合规则，完成高频系数融合。利用非下采样Contourlet逆变换以及HSV逆变换完成图像融合。最后，测试了所提算法的融合质量。

1 算法设计

所提的基于非下采样Contourlet变换与区域信息特征的遥感图像融合算法过程见图1。从图1可知，本文算法主要由提取亮度分量、获取分解系数以及系数融合三部分组成：

1) 提取亮度分量。利用HSV变换从多光谱图像中提取出包含图像主要亮度信息的亮度分量V。

2) 获取分解系数。通过非下采样Contourlet变换，将亮度分量V及全色图像进行系数分解，得到图像的低频系数与高频系数。

图1 本文遥感图像算法的融合过程

1.1 提取亮度分量

HSV变换过程中包含了色调分量H、饱和度分量S、亮度分量V。通过H、S、V三个分量、形成一个如图2所示的锥形HSV变换空间[5]。多光谱图像通过HSV变换可被分解成H、S、V三个分量，该分解过程如下。

图2 HSV变换空间示意图

令R、G、B表示三原色中的三个分量，a=max(R,G,B)以及b=min(R,G,B)分别表示R、G、B分量中的最大值与最小值，则HSV变换过程可表述为[6]：

(1)

(2)

V=a

(3)

令H=360°与H=0°时相等，则HSV反变换可表述为：

(4)

(5)

对多光谱图像进行HSV变换后，可提取其亮度分量。以图3(a)所示多光谱图像为例，对其进行HSV变换，提取出的亮度分量如图3(b)所示。

(a) 多光谱图像 (b) 所提取亮度分量图3 亮度分量提取结果图

1.2 获取分解系数

非下采样Contourlet变换不仅继承了Contourlet变换具有的多方向性，而且还具有平移不变性，克服了Contourlet变换在对图像进行系数分解时产生的块效应，使得融合图像的质量得以提升。对此，本文将采用非下采样Contourlet变换对图像进行系数分解，获取低频与高频系数。

非下采样Contourlet变换在结构上由非下采样金字塔NSP(Nonsubsampled Pyramid)以及非下采样方向滤波器组NSDFB(Nonsubsampled Directional Filter Bank)构成[7]。下采样Contourlet变换中的NSP具有非下采样性，其通过双通道的NSDFB进行迭代来构造NSP，可以达到多尺度分解的效果。在实现NSP分解后，非下采样Contourlet变换还将采用NSDFB对分解所得的高频子带进行多方向的分解[8]。NSDFB通过利用多种采样矩阵对扇形滤波器进行上采样，同时对前级分解子带采用滤波操作，以实现对子带图像进行精细方向分解的效果。

非下采样Contourlet变换利用NSP与NSDFB分别实现精细的多尺度与多方向的分解，从而使得获取到的低频系数与高频系数能够包含更多的空间与光谱信息。图3(b)中的亮度分量和图4(a)中的全色图像经过非下采样Contourlet变换后所得到的结果分别如图4(b)与图4(c)所示。

(a) 全色图像 (b)亮度分量系数分解图

(c) 全色图像系数分解图图4 非下采样Contourlet变换系数分解效果图

1.3 系数融合策略

信息熵能够对图像所含信息量进行度量，同时也能对图像的光谱信息量进行度量。本文将通过图像的区域能量以及信息熵两个特征，构建低频系数融合模型，使得在融合低频系数时不仅能够考虑图像的特征信息，而且还能兼顾图像的光谱信息。

在低频系数H(x,y)中，以任意像素点p(i,j)为中心建立一个尺寸为3×3的矩形窗口L，则该窗口内的区域能量R为[9]：

(6)

通过式(6)求取不同低频系数Ha与Hb中区域能量的占比Ea与Eb：

(7)

令图像的灰度级为{0,1,2,…,S-1}，其中灰度n(n

(8)

式中：lb表示以2为底的对数运算。

通过式(8)按照类似式(7)的方法，求取不同低频系数Ha与Hb中信息熵的占比Wa与Wb。则通过区域能量与信息熵特征构造的低频系数融合模型为：

Hc=(Ea+Wa)Ha+(Eb+Wb)Hb

(9)

式中：Hc表示融合后的低频系数。

在高频系数融合的过程中，本文将利用图像的方差，对不同高频系数的区域方差差异度进行度量，并根据度量结果，建立高频系数融合规则，实现高频系数的融合。

令高频系数T(x,y)中，以任意像素点p(n,m)为中心建立的尺寸为3×3的矩形窗口U中的系数平均值为K(n,m)，方差为F(n,m)，则不同高频系数Ta与Tb对应的区域方差相似度D(n,m)为[11]：

(10)

区域方差相似度D(n,m)的大小反映了不同高频系数的区域差异度，其值越大表示不同高频系数的区域特征差异较小。本文根据区域方差相似度D(n,m)建立的高频系数融合规则如下。

选取相似度阈值YF对D(n,m)大小进行判断，若D(n,m)

(11)

若D(n,m)≥YF，则高频系数的融合规则为：

(12)

式中：Tc(n,m)为融合后的高频系数。

以图3(a)与图4(a)为对象，利用上述算法融合后所输出的结果如图5所示。从图5可见，融合后图像具有较好的光谱特性与空间特性。

图5 本文算法的融合结果

2 实 验

实验硬件环境为AMDR3CPU、500 GB硬盘的PC机，采用MATLAB 7.0作为软件环境。实验中设置的对照组为文献[12]及文献[13]中的算法。实验中将相似度阈值YF的值设置为0.4。

2.1 不同算法融合图像的视觉分析

图6为不同算法对SOPT5卫星拍摄的某绿化区的遥感图像(大小为512×512)融合结果。从图6可见，文献[12]算法融合的图像(见图6(c))中存在较为严重的光谱扭曲现象，图像中的建筑物颜色偏紫色，而且左下角的方框所示的观察区中存在块效应现象，绿色植被轮廓不清晰。文献[13]算法融合的图像(见图6(d))中存在的光谱失真现象，图像中的绿色植被颜色偏浅，而且左下角的方框所示的观察区中存在模糊效应现象，绿色植被模糊不清。本文算法融合的图像(见图6(e))中建筑物与绿色植被颜色较为正常，但整体图像稍微偏亮，方框所示的观察区中绿色植被轮廓较为清晰。图7为不同算法对QuickBird卫星拍摄的某生活区的遥感图像(大小为512×512)融合结果。通过对比图7中各算法的融合图像可见，文献[12]算法的融合图像中存在较为严重的光谱失真现象，整体图像的颜色偏绿，而且左下角的方框所示的观察区中存在一定的模糊块现象，建筑物与植被较为模糊，见图7(c)。文献[13]算法的融合图像中存在一定的光谱丢失现象，图像颜色偏暗，而且方框所示的观察区中存在较为严重块效应现象，建筑物之间的间隔变窄，见图7(d)。本文算法的融合图像中明暗度以及颜色都较为正常，左下角的方框所示的观察区建筑物与植被都较为清晰，仅建筑物与植被间存在轻微的模糊效应, 见图7(e)。由此可见，本文算法融合的图像具有更好的光谱信息与空间信息，以及视觉效果。原因是本文算法采用了HSV变换对多光谱图像进行分解获取亮度分量，较好地保持了多光谱图像中的亮度以及光谱信息。另外，本文算法还根据图像的区域方差特征，建立了高频系数融合规则，较好地保留了高频系数中的细节信息，使得融合图像具有较好的视觉效果。

(c) 文献[12]算法 (d) 文献[13]算法

(e) 本文算法图6 不同算法的融合图像

(a) 全色图像 (b) 多光谱图像

(c) 文献[12]算法 (d) 文献[13]算法

(e) 本文算法图7 不同算法的融合图像

2.2 不同算法融合图像的客观分析

利用通用图像质量指数UIQI(universal image quality index)能够对融合后图像与全色图像的相似程度进行度量。UIQI的理想值为1，其值越趋近于1，则说明融合后图像与全色图像的相似程度越高。UIQI的函数为[14]：

(13)

式中:B′与P′分别代表了融合后图像B与全色图像P的像素平均值，βB与βP分别代表了图像B与P的像素标准差值，βBP代表了图像B与P的协方差值。

利用相关系数指标CC(Correlation Coefficient)能够对融合后图像与多光谱图像的相关程度进行度量。CC的理想值为1，CC值越接近1，则说明融合后图像与多光谱图像的相关程度越高，所包含的光谱信息就越丰富。CC的表达式为[15]：

(14)

式中:b(i,j)与m(i,j)分别代表了尺寸为K×J的图像B与多光谱图像M中的像素点。

从IKONOS卫星拍摄的遥感图像中任意选取12组图像用作客观分析对象，并通过UIQI以及CC两个指标对不同算法融合图像的质量进行量化度量。

不同算法所输出的融合图像对应的量化度量结果如图8所示。通过观察图8(a)可见，在对不同图像组的融合结果中，本文算法融合图像的UIQI值始终是最大的，对3号图像组融合后，本文算法融合图像的UIQI值为0.964 2，文献[13]算法的融合图像对应的UIQI值为0.944 6，文献[12]算法的融合图像对应的UIQI值为0.908 6。通过观察图8(b)可见，在对不同图像组的融合结果中，本文算法融合图像的CC指标值始终最大，不同算法对3号图像组融合后，本文算法融合图像的CC值为0.920 6，文献[13]算法融合图像的CC值为0.897 5，文献[12]算法融合图像的CC值为0.850 8。由此可见，本文算法较对照组具有良好的融合性能。因为本文采用了具有多方向性以及平移不变性的非下采样contourlet变换对图像进行系数分解，同时还通过图像的区域能量以及信息熵特征，构造了低频系数的融合模型对低频系数进行融合，较好地保留了图像的空间以及光谱信息，克服了块效应的产生，使得算法的融合性能得以提高。文献[12]算法中利用PCA方法与滚动导向滤波器相结合，获取多光谱图像的大尺度结构信息，以及全色图像的小尺度信息，进而再通过PCA反变换获取融合图像。由于PCA方法在获取尺度信息时存在光谱丢失现象，而且该方法中滚动导向滤波器对参数设置较为依赖，易导致滤波出错，从而使得算法的融合性能不佳。文献[13]算法中利用显著性方法对图像进行多分辨率分析，将二叉树复小波变换与多分辨率分析相结合实现图像融合。由于小波变换不具备多方向性特征，使得融合图像中存在光谱以及图像细节信息丢失现象，导致算法融合性能有所下降。

(a) UIQI值测试结果

(b) CC值测试结果图8 不同算法融合图像的量化结果

3 结 论

本文通过HSV变换提取多光谱图像的亮度分量。使用非下采样Contourlet获取图像的低频系数与高频系数，使得所得高频系数与低频系数能够包含原图的更多细节信息。利用图像的区域能量以及信息熵特征完成低频系数的融合，使得低频系数的融合过程既考虑了图像的结构特征，也考虑了图像的光谱特征，提高了融合图像的光谱与空间特性。利用图像的区域方差特征完成高频系数的融合。通过实验对比验证了本文算法的优越性能，表明了本文算法能够较好地实现遥感图像的融合。