张筱晗 杨 桄 杨永波 黄俊华

(空军航空大学 长春 130022)



结合局部能量与边缘信息的高光谱图像融合方法*

张筱晗 杨 桄 杨永波 黄俊华

(空军航空大学 长春 130022)

在对高光谱图像进行融合时，为尽可能保留目标边缘信息，论文基于小波分解，提出一种结合了梯度以及图像边缘特征的多波段图像融合算法。首先选取融合波段，分别进行小波分解和边缘特征提取；然后进行融合，低频系数采用局部能量自适应加权的方法，高频系数使用图像边缘信息指导其融合，并根据系数的正负性分别进行讨论以避免效果的抵消；最后通过小波逆变换还原融合图像。实验表明，论文方法能有效保留目标的边缘信息，融合图像的标准差、信息熵、平均梯度等各项指标均有提高，融合性能优于其他融合方法。

高光谱; 图像融合; 区域能量; 边缘信息

Class Number TP751

1 引言

高光谱图像融合对高光谱图像的应用有着重要的意义。所谓高光谱图像融合，是指对高光谱图像去除冗余、合并互补信息，以利于人工解译和后续处理的过程[1～2]。通过融合，可以有效降低图像的数据量，减轻海量数据对后续处理造成的计算压力。

高光谱图像融合技术从多光谱图像融合发展而来，但由于高光谱图像维数更高，传统的多光谱融合方法并不一定完全适合高光谱图像融合。目前的融合算法中，主要有Xavier Otazu、Myungjin Choi等[3～4]改进的基于颜色空间变换的HIS变换法、基于特征变换的融合如葛志荣[5]等改进的主成分分析(PCA)变换融合法以及基于空间-频率域变换的方法[2,6～9]。HIS变换法从视觉效果上提升融合图像质量，但会造成光谱失真严重；PCA方法着重保持了光谱信息但是空间信息提高方面不甚理想；基于空频域变换的方法更受青睐。B. Aiazzi、A. Garzelli、F. Nencini等采用金字塔变换对图像进行分解[7～9]，通过一定规则融合后再进行反变换将多幅子图像合成一幅图像或图像子集，但该方法过程繁琐，效率不高。此外，在多源遥感图像融合领域得到广泛应用的小波变换也被引入高光谱图像融合。王克成在文献[8]中提出了小波变换后基于方差加权的方法，陈瀚孜则改进了小波基[2]，提出第二代提升小波融合，这些尝试都取得了较好的效果。在此基础上，本文根据目视解译需要提高图像目视效果的特定需求对小波变换后的融合规则进行了改进，对于代表源图像近似信息的低频部分，采用局部能量自适应加权的方法处理，对于代表了源图像突变信息的高频部分，提取低频图像边缘特征指导其融合。实验证明本文方法能够很好地保留目标边缘特征，提升融合质量。

2 基于小波变换的图像融合理论

基于小波分解的高光谱图像融合的实现步骤如下：

1) 数据降维。本文选用文献[10]针对融合提出的联合偏度-峰度指数(Joint Skewness-Kurtosis figure，JSKF)模型进行降维。为避免降维时的盲目性，减少计算量，首先按照蓝光波段(440nm～500nm)、绿光波段(500nm～580nm)、黄光波段(580nm～622nm)、红光波段(622nm～780nm)、Herschel波段(780nm～1100nm)、近红外波段(1100nm～2400nm)波长对高光谱的成像波段进行初步分组，在每个子空间上计算JSKF指数，综合选出值较大的波段，具体方法在此不再叙述。假设选用经过JSKF方法降维后选出的k个波段图像I1,I2,…,Ik进行融合。

3)边 缘特征提取[11]。对得到的隔层低频系数图像利用Prewitt算子进行边缘特征提取。

5) 小波逆变换。利用上一步得到的融合图像F的低频、高频系数进行小波逆变换，得到最终的融合图像F。

3 高光谱图像融合法则

3.1 低频系数融合法则

低频系数包含着源图像大部分能量，是源图像的近似。源图像的大量互补信息也存在于低频图像。因此低频系数的融合注重保留这些互补信息。同时，由于图像中每一个像元与其周围的区域有很大关系，因此在考虑像素级融合时应考虑其周围的像元。在低频系数融合时，选用区域能量作为自适应加权的测度。

区域能量反映了图像一定窗口区域的整体亮度。一般来说越清晰的图像在该窗口表现越活跃，区域能量也就越大，在融合时应加大其权重。区域能量的定义如下：

|Lj,s(m+m′,n+n′)|2

(1)

其中Ej,Ii表示图像Ii在层分解的低频图像以(m,n)为中心、窗口K×L内低频系数的区域能量，其中w(m,n)为窗口像元能量对应的权重矩阵定义为

(2)

以区域能量指标作为图像融合的自适应加权，赋予第i幅图像的权重为

pIi= Ej,Ii(m,n)/[Ej,I1(m+n)+…+Ej,Ii-1(m,n)

+Ej,Ii+1(m,n)+…+Ej,Ik(m,n)]

(3)

LN,F(m,n)= pI1(m,n)LN,I1(m,n)

+pI2(m,n)LN,I2(m,n)

+…+pIk(m,n)LN,Ik(m,n)

(4)

3.2 高频系数融合法则

小波变化后得到的高频图像，代表了图像在水平、垂直、对角三个方向上的突变信息，包括地物边缘、纹理等信息。因此高频图像的融合将直接影响到融合图像目标的边缘效果。在实施高频系数融合时，通常采用的是提取绝对值较大的系数。但是在实施多幅图像融合时，每一处仅保留一幅源图像的信息，会造成信息浪费。因此，本文提出提取边缘信息以指导高频系数融合的方法，考虑多幅源图像的边缘信息，保证了目标边缘的完整性。具体方法如下：

首先，提取边缘信息。利用Prewitt算子对每层小波分解得到的低频图像进行边缘提取。由于各个波段对地物描述能力不同，得到的边缘二值图像也不同。将边缘信息图记作XI1,XI2,…,XIk。图1展示了部分波段第一层小波分解得到的边缘信息图。

图1 一层小波分解低频图像边缘信息图

(5)

图2 第1层小波分解水平方向高频系数取大选择图

图3 第1层小波分解水平方向高频系数最终选择图

(6)

最后，根据高频系数进行讨论。小波分解得到的高频系数有正有负，而由上式得到的分析系数为1或0。若融合时对相同符号的系数进行加权求和，不会影响信息的抵消；若符号不相同，直接进行相加会造成对应位置幅值的抵消，反而削弱了细节信息。而对于高光谱图像融合来说，由于要融合的波段图像多，相应位置符号不同的可能性更大。通过对高频系数取绝对值再确定其符号的方法可以将两种情况统一起来，即当负的系数比较大时，取负号；正的系数比较大时，取正号。融合公式如式(7)所示。这样就将边缘信息融入高频系数的融合中去。

(7)

4 实验验证

4.1 实验条件

为验证本文算法的有效性，下面通过实验进行验证。实验所使用的数据为由美国机载可见光红外成像光谱仪(Airborne Visible Infrared Imaging Spectrometer, AVIRIS)获取的美国圣地亚哥海军基地高光谱图像。该实验图像已经过预处理，选取189个波段作为研究对象，图像大小为175×275。根据先验判读，得知图中停机坪上停有6架飞机，同时图中还包括道路、房屋等目标。不同波段图像展示的地物效果不同，存在大量互补信息。

4.2 实验结果

通过JSKF指数进行自适应子空间的分解和波段选择，选出参与融合的6个波段，分别为10、44、71、137、167、218波段。将6个波段的灰度图像如图4所示。

根据文献[2]的理论，选用小波基bior4.7进行3层小波分解。分别对低频系数和高频系数进行融合，经过小波逆变换得到结果如图7所示。同时为比较本文算法，还利用经典的基于主成分变换的PCA方法[6]、以方差为自适应加权测度的方差加权法(简称VAR)[9]以及低频系数采用平均加权高频系数取大处理的取大法(简称MAX)得到融合结果，分别如图5所示。

图4 6个参与融合的波段

图5 融合实验结果图

4.3 结果分析

下面分别从主观、客观两方面来评价这三种方法得到的融合结果图像质量。

图像质量的主观评价，即目视判读效果评判，主要依据人眼对图像的感受对图像进行评价[12]。从视觉效果上看，除了PCA方法效果较差、没有突出目标信息外，其余三种融合方法均能保留各波段图像的基本信息，一定程度上都能够突出飞机目标的目视效果；从细节上看，VAR方法融合图中背景平滑，场景的纹理信息有一定丢失，MAX方法背景又过于斑驳，相对本文方法效果最好，6架飞机目标得到较为清晰的表现。为展现重点目标细节，特选取6架飞机的局部放大图进行对比，如图6所示。

图6 融合实验结果细节图

图像质量的客观评价，即通过一定指标进行定量分析，评判图像质量高低。本文选取了标准差(σ)、信息熵(SH)、平均梯度(AG)、边缘强度(EI)、图像清晰度(FD)等五个指标[14]对四种方法进行评价。指标值越大说明图像对比度越高，纹理越清晰，效果就越好。四种融合方法的客观评价指标值如表1所示。

表1 四种方法融合图像客观指标评价结果

从表中可以看出，除PCA方法外，另外三种方法在图像对比度、信息量方面均有较好的表现，尤其是本文方法，在各指标上表现出的融合性能最好，通过计算可以得出，本文方法在标准差、信息熵、平均梯度、边缘强度以及图像清晰度方面较VAR方法指标分别提升了7.74%、1.08%、22.35%、20.61%、41.72%，较MAX方法分别提升了11.87%、1.91%、9.08%、10.16%、16.51%。

综合上述，无论从主观评价角度还是从客观评价指标，本文提出的方法在融合性能方面均优于传统的PCA方法或改进的方法。

5 结语

将高光谱多波段图像融合，同时保留必要的视觉信息，既克服了数据量大给判读造成的困难，又使细节信息得以保留，便于分析。本文采用区域能量自适应加权融合低频系数、边缘信息指导高频系数融合的方法，能够很好的保留各个波段图像的边缘信息，使融合后的图像符合人眼目标判读的习惯。此外，本文方法也可以用于基于波段子集特征融合的降维处理。但是，高光谱图像光谱分辨率虽高，但空间分辨率低，这是其在图像解译方面的一个“软肋”。因此，在下一步的研究中，要将高光谱融合同提高空间分辨率结合起来，将多源传感器融合技术引入高光谱融合，推动高光谱图像在实际中的应用。

[1] 张兵,高连如.高光谱遥感图像分类与目标探测[M].北京:科学出版社,2011.

[2] 陈瀚孜.高光谱图像融合算法研究[D].哈尔滨:哈尔滨工程大学硕士学位论文,2008：4-37.

[3] Maria Gonzalez Audicana, Xavier Otazu and OctaviFors. A low computational-cost method to fuse IKONS images using the spectral response function of its sensors[J]. IEEE Transaction on geoscience and remote sensing,2006,42(7):1683-1690.[4] Myungjin Choi. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[C]. IEEE Transaction on geoscience and remote sensing,2006,44(6):1672-1682.

[5] A. Garzelli. F. Nencini, Interband structure modeling for Pan-sharping of very high resolution multispectral images[J]. Information Fusion,2005,6(3):213-224.

[6] 葛志荣,王斌,张立明.一种基于残差的遥感图像融合新方法[J].中国图像图形学,2007,12(1):135-140.

[7] B. Aiazzi, L. Alparone, S. Baronti, and A. Garzelli. Context driven fusion of high spatial and spectral resolution images based on oversampled multi-resolution analysis[J]. IEEE Transaction on geoscience and remote sensing,2002,40(10):2300-231.

[8] 王克成.基于小波理论的超光谱图像融合研究[D].哈尔滨:哈尔滨工程大学硕士学位论文,2005(1):34-58.

[9] Tania Stathaki. Image Fusion: Algorithms and Applications[M]. Singapore: Elsevier Singapore Pte Ltd,2014.

[10] 郭雷,常威威,付朝阳,等.高光谱图像融合最佳波段选择方法[J].宇航学报,2011,32(2):374-377.

[11] 李俊山,李旭辉.数字图像处理[M].北京：清华大学出社,2010:168-172.

[12] 童涛,杨桄,孟强强,等.基于边缘特征的多传感器图像融合算法[J].红外与激光工程,2014,28(1):288-29.

Hyperspectral Image Fusion Method Combined With Area Energy and Edge Feature

ZHANG Xiaohan YANG Guang YANG Yongbo HUANG Junhua

(Aviation University of Air Force, Changchun 130022)

In this paper, specific to preserve the edge information of targets in each band of hyperspectral data, a novel multi-band fusion algorithm based on wavelet decomposition combined with areas energy information and edge feature is proposed. Firstly, after band selection, the edge features are extracted from each band and wavelet decomposition is carried out. Then for low frequency coefficients, they are fused by adaptive weighted method based on regional average gradient, while the high frequency coefficient fusion is conducted by using the edge information. Besides, to avoid effect offset, the sigh of frequency coefficient is considered. Finally, the fusion image is obtained by performing inverse wavelet transforms. The experimental results indicate that the fused image obtained by the proposed method has a better subjective visual effect and fusion performance than traditional fusion methods, and the fusion quality index of standard deviation and information entropy has increased effectively.

hyperspectral image, image fusion, area energy, edge information

2016年5月13日,

2016年6月27日

吉林省科技发展计划资助项目(编号：20140101213JC)；吉林省教育厅“十二五”科研项目(编号：2015448)资助。

张筱晗,女,硕士研究生,研究方向：遥感图像解译以及高光谱遥感。杨桄,男,博士后，副教授,研究方向：遥感图像解译、地理信息系统。

TP751

10.3969/j.issn.1672-9730.2016.11.011