刘佳，段先华，孙庆国

（江苏科技大学 计算机科学与工程学院，江苏 镇江 212003）

图像以特定的空间分辨率和波谱段记录地面上的一切客体和地面以下的部分地理信息。高空间分辨率全色图像反映了空间结构信息，能够详尽地表达地物的细节特征；低空间分辨率多光谱图像的光谱信息丰富，有利于对地物的识别与解释。将高分辨率的全色图像与含有丰富光谱信息的多光谱图像进行有效地融合，得到一幅既保持丰富光谱信息又有较高分辨率的图像。

感图像融合中，较成熟的像素级融合方法主要有线性加权平均算法，HIS变换法，PCA变换法，小波变换法以及这几种不同方法结合的方法[1-3]。线性加权平均算法虽然简单运算量小，但是每幅原图像特征被极大的削弱了，融合效果欠佳。而HIS变换直接替换融合法由于高分辨率图像和多光谱图像的成像原理等条件存在很大差异，造成这两种图像之间相关性弱，因此会降低图像的光谱信息。而直接小波变换会丢失原始图像一些边缘信息，造成细节不够清晰，纹理比较粗糙[1]，另外小波变换是依赖于小波基可以用较少的非零小波系数去逼近实际函数，因此选择小波基应该是以尽量产生接近于零的小波系数为最优，但是这需要小波基的一些特性为前提，正交性确保图像分解系数不具有冗余性；紧致性保证滤波器的有限响应；对称性适合于人眼的视觉系统；但是Duabechies等人证明在实数域中除Harr小波外，对称、正交、紧支集非平凡单小波基是不存在的，这限制了单小波的应用。而多小波却克服了这些，具有这些特性。1994年，Geronimo等人应用分形插值方法构造出了具有紧支撑，正交性，对称性和二阶消失矩的多小波中两尺度函数。1996年，Geronimo等人再次应用分形插值方法构造出了GHM多小波系统，该系统由两个尺度函数和两个小波组成[4]。所以本文采用结合HIS变换与GHM多小波变换的变换方法。

变换方法之外，不同的融合规则的选择对融合效果有重要的影响。第三代人工神经网络脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN），是一种不同于传统人工神经网络的新型神经网络。1989年，ReinhardEckhorn和Charles M.Gray研究了猫的大脑视觉皮层，提出了具有脉冲同步发放特性的网络模型。1990年，ReinhardEckhorn根据猫的大脑皮层同步脉冲发放现象，提出了展示脉冲发放现象的连接模型。1994年，Johnson发表论文，阐述了PCNN的周期波动现象及在图像处理中具有旋转、可伸缩、扭曲、强度不变性，通过对Eckhorn提出的模型进行改进，就形成脉冲耦合神经网络（PCNN）模型。Li等人[5]提出了一种基于小波包分解与PCNN相结合的图像融合方法，它将PCNN网络的脉冲输出量作为图像融合的准则，由于采用小波包对图像进行处理，实验结果表明该方法融合图像后易出现边缘移位的现象；武治国等人设计实现了一种基于自适应PCNN和小波变换的融合技术[6]，效果不错。基于上述，本文采用了一种将HIS变换，多小波变换及PCNN神经网络相结合的图像融合算法。

1 相关图像融合方法介绍

1.1 HIS变换及逆变换

人眼不能直接感觉红、绿、蓝三色的比例，而只能通过感知颜色的亮度、色调以及饱和度来区分物体，而色调和饱和度与红、绿、蓝的关系是非线性的。IHS模型是另一种表色系统，它是基于视觉原理的一个系统，定义了3个互不相关，相互独立的属性：明度（I），色调（H）和饱和度（S），可分别对它们进行控制来获得不同的显示效果。明度是指彩色光所引起的人眼对明暗程度的感觉，明度和照射光的强度有关。色调是指光的颜色，改变色光的光谱成分，就会引起色调的变化。色的饱和度是指色的颜色的深浅程度。HIS变换方法，将一幅彩色图像的R、G、B成分分离成代表空间信息的明度（I）与代表光谱信息的色调（H）和饱和度（S）3个成分。变换方法有很多[3]，三角形法，圆柱体法，六棱锥法。本文采用圆柱体法。

1.2 多小波变换原理

小波变换是信号分析发展史上的里程碑。与单小波相比较，多小波同时具备诸如紧支性、正交性、对称性等诸多在信号处理中非常重要的良好性质，决定了多小波是一种优于单小波的信号处理技术。在小波分析中，一个多分辨率分析是由一个小波函数平移与伸缩构成L2（R）空间的基。多分辨率分析多小波变换，则是多个小波函数平移与伸缩构成L2（R）空间的基，这些小波函数被称为多小波。

方程（1）和（2）成为二尺度方程。r×r阶矩阵序列{Hk}k∈Z和分别为低通滤波器和高通滤波器满足其平移和伸缩形成正交补子空间的正交基，即Vj在Vj+1中的补子空间。

图1为r=2的多小波的进行2层分解，当多小波分解进行到第L层，会生成一个包含3L+1块矩阵的结共有（3L+1）r2个子图像。

图1 多小波的进行2层分解Fig.1 2 layer of multiwavelet decomposition

用离散的小波系数进行分解和重构的Mallat算法对于多小波同样适用，多小波基于矢量滤波器对信号进行分解、重构。滤波对象必须是满足一定要求的矢量信号。因此在进行多小波分解前必须通过前置滤波器对原始信号进行预处理得到初始矢量，预滤波方法有多种，常用的预滤波方法有：odd/even法，Haar法，标Haar法，平滑法[7]。然后在进行多小波变换，重构后的信号也要进行后处理才能得到最终结果。

本文以GHM多小波进行分解与重构，其中低通滤波器系数矩阵如下：

由于多小波变换具有矢量性，其变换系数表现出矢量性，所以在低频分量采用矢量融合策略，综合矢量的分量之间的关系[7]。

1.3 PCNN模型

PCNN是由若干个神经元互相连接而成的反馈型网络，其每一个神经元由3各部分组成：接收部分、调制部分和脉冲产生部分，PCNN用于图像处理时，是一个单层二维的局部连接的网络，神经元的个数等于输入图像中的像素点的个数，神经元与像素点一一对应，人们并提出了很多模型，本文采用其中的一种简化模型[8－9]，如图2所示。

图2 神经元简化模型Fig.2 A simplified model of neuron

其数学方程描述

其中，i，j是神经元标号，Fij（n）是（i，j）神经元在第 n 次迭代时的反馈输入。Iij（n）为外部输入刺激信号，图像中的像素值；Lij（n）是神经元的链接输入，β 是链接强度，Yij（n）则是第次迭代时（i，j）神经元的输出；Wij，pq为神经元之间的连接权系数矩阵，VL是连接输入的放大系数；θij和Vθ是变阈值函数输出和阈值放大的放大系数，αL和αθ分别为链接输入和变阈值函数的时间常数，表示迭代次数。 若 Uij（n）＞θij（n），脉冲发生器打开则神经元产生一个脉冲，称该神经元一次点火，输出为1，之后θij在阈值信号发生器中通过反馈而迅速得到提高，当其提高到大于Uij时，脉冲发生器关闭，输出为0，从而形成脉冲信号。

2 HIS变换，多小波变换及PCNN神经网络相结合的图像融合算法

2.1 基于HIS变换，多小波变换及PCNN相结合的图像融合方法步骤

第1步：多光谱图像空间配准。因为采用像素级融合，所以采用的图像必须进行严格的配准。否则会严重影响融合结果。

第2步：多光谱图像进行HIS变换。得到3个分量I、H、S。

第3步：将第2步得到的I分量与高分辨率图像分别进行GHM多小波变换1级分解，预滤波采用”Odd/even”方法。

第4步：对上步分解后的子块高低频分别进行融合。

第5步：将融合后的F进行反GHM变换，然后在进行后处理滤波得到I′。

第6步：将I′与第2步得到H、S分量进行HIS逆变换得到融合结果。

2.2 低频融合方法

低频采用矢量加权平均[7]。令A，B为将待融合图像多小波变换后的矢量，F为多小波变换域融合图像矢量，即

式中 α，β 为加权系数（α，β 非负，α+β=1）。 采取。

2.3 高频融合方法

在选择高频系数时，采用了PCNN方法。由于传统的基于PCNN的图像融合中，所有神经元链接强度取相同数值，但是单个神经元的点火会对其链接的邻近神经元做出贡献，链接强度β与图像该像素处的特征信息有一定的关系，应该随着图像特征变化进行自适应地调整，这样才可以有效地提取图像细节信息。所以本文采用方向性信息来自适应链接强度[8]。高频系数采用点火次数取大者作为融合后的图像像素点。

3 实验结果及分析

实验环境：win7 64位系统，matlab R2010b

为了测试本文融合算法的有效性，用两组IKONOS卫星图像进行仿真实验，采用IKNOS 1 m高分辨率图像和4 m的多光谱数据。并与HIS变换直接替换I分量方法（简称方法1），HIS变换与单小波变换结合的方法（Daubechies小波系中‘db4’，n=3）（简称方法 2）， 基于多小波极大方差－极大能量的矢量方法（MV－ME）[7]（简称方法 3），参考文献[8]中的方法（简称方法4）从平均梯度，偏差指数，信息熵3个方面进行融合结果比较。两组实验相应融合结果见图3和图4，相应数据结果比较见表1和表2。

本文所采用的方法中PCNN神经元的参数选择[8]迭代次数选择n=200

结果分析：

1）视觉方面：方法1，2的融合效果更清晰，其次清晰的是方法4和本文方法，方法3在这几个方法中最不清晰，但是方法1和方法2光谱失真较其它方法严重。所以从视觉上综合看方法4以及本文方法会令人满意些，在提高空间分辨率的同时最大的保持了光谱特性。

2）客观评价方面，本文从信息熵，平均梯度，偏差指数3个指标进行评价。熵是图像信息丰富程度的一个指标。融合图像的熵越大，则融合图像的信息量越大。平均梯度可敏感的反映图像对微小细节反差表达的能力，可以用来衡量图像的清晰度，其越大越清晰。偏差系数反映了融合图像与源图像的光谱信息上的匹配程度，偏差系数越小，表明图像融合效果越好。

图3 5种方法融合结果Fig.3 Five results of fusion

图4 5种方法融合结果图像Fig.4 Five results of fusion image

表1 5种方法融合结果表格Tab.1 Table of fusion results

表2 5种方法融合结果表格Tab.2 Table of fusion results

①熵：方法2的熵最大，然后依次是本文方法＞方法3＞方法 1＞方法 4

②平均梯度：方法2＞方法1＞本文方法＞方法4＞方法3

③偏差指数：方法3<本文方法<方法4<方法2<方法1

方法1的3个指标都没有方法2好。方法2偏差指数很大，说明光谱失真很严重。方法3清晰度很差。所以从以上数据显示方法4和本文方法综合起来效果比较好，但是时间上看方法4在多小波分解之后融合花费102.542秒而本方法花费46.094秒。综上所述本文方法取得的结果综合比较起来比其他方法好。

4 结 论

由于PCNN方法[10]计算有些复杂又有不断的迭代计算，运行时间较作比较的方法有点长，所以低频系数融合采用矢量加权，减少了PCNN方法计算次数，缩短了时间，实验结果表明，本文方法在实验效果综合起来由于前3种方法，时间上优于第4种方法并保持了其效果。空间信息得到了提高，光谱信息失真也可容许。但是在高频系数融合时采用的PCNN自适应链接强度β的选择没有进行更明确的比较研究，什么样的方案更合适，而只是采用参考文献中一种根据的方向信息决定的β，这点是应该做进一步研究的。

[1]朱福珍，李金宗，李冬冬.HIS变换与小波变换相结合的图像融合新方法[J].计算机应用研究，2009，26（2）:784－786.ZHU Fu-zhen，LI Jin-zong，LI Dong-dong.New image fusion method based on combination of HIS and wavelet transform[J].Application Research of Computers，2009，26 （2）:784－786.

[2]张桂铭，朱小丽，张兴明.基于HIS变换融合IKONOS不同分辨率影像[J].科技资讯，2009（20）：4－6 ZHANG Gui-ming，ZHU Xiao-li，ZHANG Xing-ming.Image fusion of IKONOS different resolution based on HIS[J].Science&Technology Information，2009（20）:4－6.

[3]王仁礼，戚铭尧.用于图像融合的IHS变换方法的比较[J].测绘学院学报，2000，17（4）:269－272 WANG Ren-li，QI Ming-yao，WANG Hui.Comparative study on the method of HIS transformation for image fusion[J].Journal of Institute of Surveying and Mapping.，2000，17（4）:269－272.

[4]Geronimo J，Hardin D P，Massopust P.Fractal functions and wavelet expansions based on several scaling funxtions[J].J Approx Theory，1994（78）:373－401.

[5]LI W，ZHU X F.A new image fusion algorithmbased on wavelet packet analysis and PCNN[C]//Proceedings of the Fourth International Conference on Machine Learning and Cybernetics，2005:5297－5301.

[6]武治国，王延杰，李桂菊.应用小波变换的自适应脉冲耦合神经网络在图像融合中的应用 [J].光学精密工程，2010，18（3）:708－715.WU Zhi-guo，WANG Yan-jie，LI Gui-ju.Application of adaptive PCNN based on wavelet transform to image fusion[J].Optics and Precision Engineering，2010，18（3）:708－715.

[7]吴晓蓉，何明一.基于多小波分解的多光谱图像矢量融合[J]. 电子与信息学报，2007，29（4）:789－794.WU Xiao-rong，HE Ming-yi.Vector fusion of multispectral images based on multiwavelet decomposition[J].Journal of Electronics&Information Technology，2007，29（4）:789－794.

[8]夏加星.医学图像融合方法研究[D].镇江：江苏科技大学，2012.

[9]王志慧，赵保军，沈庭芝.基于MMPN和可调节链接强度的图像融合[J].电子学校，2010（5）:1162－1166.WANG Zhi-hui，ZHAO Bao-jun，SHEN Ting-zhi.Image fusion based on MMPN and adjustable linking strength[J].ACTA Electronica Sinica，2010（5）:1162－1166.

[10]胡玉成，王创新.基于区域方向的NSCT与PCNN图像融合算法[J].电子科技，2014（4）:30－33.HU Yu-cheng，WANG Chuang-xin.The NSCT and PCNN image fusion algorithm based on regional direction[J].Electronic Science and Technology，2014（4）:30－33.