杜淋

摘   要：提出了一种将单层小波变换与压缩感知相结合的图像融合新方法，仅通过测量图像的高频小波系数且保留了低频小波系数，利用不同的方案对低频小波系数和高频小波系数的测量进行融合。结合总变分（TV）最小化算法和融合测量来恢复高频小波系数，运用逆小波变换对融合图像进行重建。实验表明，该方法具有良好的融合性能和较低的计算复杂度。

关键词：图像融合;压缩感知;单层小波变换

中图分类号：TP751.1                                            文献标识码：A

Research on Image Fusion Compressed Sensing Based

on Single Layer Wavelet Transform

DU Lin？覮

（College of Science，Hohai University，Nanjing，Jiangsu 210098，China）

Abstract： This paper presents a new image fusion method combining single-layer wavelet transform with compressed sensing. It only measures the image's high-pass wavelet coefficients and preserves the low-pass wavelet coefficients. It uses different schemes for low-pass wavelet coefficients and high pass. Wavelet coefficient measurements are fused. Combined with minimization of total variational algorithm （TV） and fusion measurement to recover high-pass wavelet coefficients，the fusion image was reconstructed using inverse wavelet transform. Experiments show that this method has good fusion performance and low computational complexity.

Keywords： image fusion;compressed sensing;single-layer wavelet transform

圖像融合是将多幅图像的互补和冗余信息相结合以获得复合图像的技术，它比任何单个图像都包含更全面的描述。作为处理的结果，融合图像对于人类和机器感知或物体检测和识别等其他图像处理任务更有实践意义。目前，已经提出了许多著名的融合算法[1-3]，最主流的技术是多分辨率分解方法，如基于金字塔的方法[2]，基于离散小波变换（Discrete Wavelet Transform，DWT）的方法等[3]。但其中大多数技术需要对源图像进行全面采集，这意味着在传感器数据量增加的背景下，必须处理大量的存储负担。

压缩感知（Compressed Sensing，CS）作为一种信号处理技术[4]，可以同时进行数据采样和压缩，文献表明[5]，在一定条件下，仅从一小部分测量就能精确地恢复信号。CS原理使得数字数据采集大幅降低采样率、功耗和计算复杂度[6]。但是，现有的大多数CS研究都仅停留在理论研究基础上[7]。对于CS中的图像融合，通常方式是在从测量结果中单独恢复每幅图像之后，在重建的多幅图像之间执行传统融合[8]。然而为了节省存储空间并降低计算复杂度，更好的方法是直接对测量结果进行融合，然后从融合测量结果重建融合图像[9]。现有研究已经提出了基于CS的几种不同的融合策略，例如简单的最大选择规则或基于测量标准差的自适应加权平均融合方案[10-11]。

提出了一种在一般CS框架下的图像融合方案。仅需要对图像进行单层小波分解，并且利用快速Walsh Hadamard变换[12]测量图像的高频小波系数，利用不同的方案对低频小波系数和高频小波系数的测量进行融合，融合图像的合成系数通过总变分（Total Variation，TV）最小化算法[13]和逆小波变换进行恢复。

1   压缩感知

考虑一个实数值有限长度的一维离散时间信号x∈RN，元素为x[n]，n=1，2，…，N。如果信号x是K稀疏的，则信号可以表示为公式（1）：

x = Dα                   （1）

其中，D是N × N的基矩阵，并且α是仅包含K个非零系数的N × 1向量。显然，x和α是信号的等价表示，x在时间或空间域，α在D域。如果K≠N，则信号x是可压缩的。

在CS中不能直接测量或编码α，而是采用压缩测量：

其中，y∈RM且A代表测量过程的M × N测量矩阵。由于M≠N，所以不能利用y重建x。然而，CS理论基于x在已知变换域D（例如，DCT和小波）中具有稀疏表示。即如果 满足受限等距特性（RIP）[8]，则优化过程中可以恢复变换域信号α。在一些固定的稀疏基础D下，Gaussian矩阵或Bernoulli矩阵可以提供通用性能和最优性能作为测量矩阵[14][15]，

但计算复杂度很高。而快速Walsh Hadamard变换矩阵[12]的采样算子实用性普遍，且计算复杂度较低。

为了解决公式（2）的逆变换，已经开发了一些用于此类不适定问题的非线性恢复算法[16]。但它们中的大多数在实践中需要相当繁重的计算。在本文中，提出了一种基于增广拉格朗日和交替方向算法的新型总变分（TV）最小化算法，简称为“TVAL3方案”来解决这个问题[13]。它用于解决总变分正则化的压缩感知问题：

其中，x是N × 1向量，Di x∈R2是像素i处x的离散梯度，A是M × N （M < N）测量矩阵，并且测量y是x的线性投影，‖Di x‖是1-范数（对应于各向异性TV）。

2   單层小波变换

为了获得原始图像的测量结果，将使用快速Walsh Hadamard变换矩阵的结构化来测量矩阵类型[12]。测量矩阵能够处理矩阵向量乘法的快速计算，它是由Hadamard矩阵构造的。对于k阶Hadamard矩阵维数2k的递推公式如下：

对于任意两个矩阵A=[aij]p×q和B=[bij]r×l的Kronecker乘积定义如下：

A？茚B = a11B    a12B    …   a1qBa21B    a22B    …   a2qB…        …     …    …ap1B    ap1B    …   apqB  （5）

为了更好地理解Kronecker乘积的含义，通过定义两个新的算子vec和mtx。vec算子将矩阵的所有列变成向量，而mtx是vec的逆算子，它将该向量分离成若干个同等长度向量并形成一个矩阵。

根据“Kronecker乘积”定理[17]，矩阵A∈Rm×n可以用Kronecker乘积公式构造：

A = （A1？茚A2 ）   （6）

其中，A1∈R（m/p）×（n/p） 和A2∈Rp × q，所选择的m和n必须满足m和n分别被p和q整除。矩阵向量乘法可以通过下式计算：

Ax = vex（A1mtx（x）AT2）ATy = vex（AT2mtx（y）A1）   （7）

详细推导过程见文献[17]。利用Kronecker乘积改写公式（4）为：

Hk = H1？茚Hk-1   （8）

对于长度为2k的任意两个向量xT1和xT2，有x = [xT1   xT2]。Hadamard有序的Walsh Hadamard变换（WHTh）可以表示为：

Hk x = （H1？茚Hk-1）x  （9）

根据基本KP理论[18]，可以得到：

令xi表示第i个小波子带的矢量化信号。相应的测量输出向量可写为：

yi = Axi，i = 1，2，3    （11）

在每个小波子带中，设置相同的采样率，因此每个子带的测量次数相同。

3   图像融合

由于多分辨率小波分解在信号表示中具有明显的优势，因此，在本文的融合方案中，采用单级CDF-97小波变换将原始图像分解为近似系数和细节系数。高频子带包括原始图像的主要信息并且可以认为是稀疏的，但是尺度系数低频子带不具备稀疏性。所以低频和高频系数与测量矩阵 相乘会破坏低频近似权重系数与细节系数之间的相关性，导致重建结果较差。因此，通过保留低频小波系数，只测量图像的高频小波系数，然后用不同的融合规则对它们进行融合。

3.1   低频融合规则

设Ak和Bk分别为图像A和图像B的第k（k=1，2，3）个低频子图像。第k个低频子图像Fk的融合近似系数可以表示为：

3.2   高频融合规则

图像结构相似性（Image structural similarity，SSIM）[19]是基于假设人类视觉感知高度适应于场景中提取结构信息的一种有效的图像质量评估指标。受此启发，本文使用SSIM提取两个高频子图像测量之间的结构关系。

结构相似性（SSIM）是通过将任何图像失真建模为结构比较函数s（x，y），亮度比较函数l（x，y），对比度比较函数c（x，y）的组合来设计的。则SSIM定义为：

其中，μx 和 μy是均值，σx ，σy和σxy分别是标准差和协方差。所有这些都是在图像x和y之间的高频子图像测量值上计算得到。常数C1，C2和C3以避免分母非常接近零时的不稳定性。且C1 = （K1L）2，C2 = （K2L）2，其中L是高频子图像测量的动态范围（对于两个对应的高频子带图像测量的最大值），并且 K1 = 1，K2 = 1是一个小常数，在本文的实验中，将参数设置为0.05，SSIM的其他参数都参照文献[19]。

对于图像融合，将SSIM局部应用而不是全局应用。在实验中，在2×2平方窗内计算μx ，σx和σxy，该窗口在整个图像上逐个像素地移动。在每个步骤中，局部统计和SSIM在局部窗口内计算。最后测量两幅图像相似度的平均SSIM（MSSIM）指标定义如下：

其中，xj和yj是第j个局部窗口处的图像信息，并且M是图像的局部窗口的数量。

对于细节系数融合，令GA k和GB k分别是图像x和y图像 的第k（k = 1，2，3）个高频子图像的测量值。融合的高频子图像测量GF k可以写为：

其中，MSSIM（x，y）是两个对应的高频子带图像测量之间的平均结构相似性指数。

因此，融合高频系数可以通过基于增广拉格朗日和交替方向算法（TVAL3）的总变分（TV）最小化方案获得，详见文献[13]。所提出的压缩感知中的图像融合具体步骤为：

（1）对输入图像执行单层小波变换;

（2）用融合低频规则融合低频小波系数，并用测量矩阵WHTh测量各高频小波子带系数;

（3）通过融合高频规则来融合每个高频测量;

（4）通过TVAL3算法重建融合的高频小波系数;

（5）通过逆小波变换恢复融合图像。

本文利用TVAL3算法[13]从融合高频测量中恢复融合高频系数。

4   实验分析

4.1   实验准备

为了验证所提出的基于单层小波变换的图像融合压缩感知的有效性，设计三组测试图像用于性能评估，三组源图像包括计算机断层扫描（CT）和磁共振成像（MRI）图像，如图1（a）和图1（b）;红外和视觉图像，如图2（a）和图2（b）;光学多焦点图像，如图3（a）和图3（b）所示。有关图像的更多信息详见文献[16]。高频采样率设置为0.2，恢复数据总数为所有数据的40%。其他两种方法的采样率也设置为0.4。所有实验均在双核Intel Core2 2.33 GHz计算机上实现，仿真软件为MATLAB 7.0.1。

4.2   实验对比

在实验中，将所提出的方法与文献[20]，文献[21]中的方法进行比较，其中，文献[20]使用“双星”采样模式和最大绝对值选择融合规则（CS_MS），文献[21]使用“星形”采样模式和基于标准差的加权平均融合规则（CS-SD）。在医学图像融合中，很容易看出所提出的方法的融合结果比CS_MS和CS-SD具有更高的对比度，并且包含了单个输入图像的大部分细节。CS-SD具有较低的对比度，并且比原始图像包含更多的噪声。对于红外和视觉图像融合，可以看到所提出的方法结果也表现出最佳的视觉效果。与本文的方法相比，CS_MS方案由于亮度和对比度的失真以及包含很多带状噪声而不适合红外和视觉图像融合。而CS-SD会损失目标中的对比度。在光学多焦点图像融合实验中，本文所提出的方法与CS-SD相比具有相同的视觉效果，并且优于CS_MS融合。

5.3   性能评估

为了进一步比较，使用几个客观标准来评估融合结果。第一个标准是平均梯度（AG），它通常用于评估图像的清晰度，AG越大，图像越清晰。接下来的两个标准是互信息（MI）和边保持度（Q），MI反映融合图像包含的原始圖像的信息总量，并且Q考虑从输入图像转移到融合图像的边缘信息量。对于这两个标准，值越大融合结果越好。最后，分别给出用于融合和CS重建的CPU运行时间。三种方法的融合结果性能评价如表1所示。

由表1可见，所提出的方法在MI和Q方面优于其他两种方法，这说明本文融合图像的方法与其他方法相比，包含更多的细节和边缘信息，这与视觉效果一致。尽管医学图像融合中的平均梯度（AG）略大于本方法，但其视觉效果远不及本方法。本文的融合和CS重建方法的CPU运行时间远小于其他两种方法。从主观视觉比较和客观指标比较中，可以得出结论，所提出的方法比其他两种方法可以获得更好的性能。

5   结   论

提出了一种压缩感知的图像融合方案，与传统方法相比，在对原始图像进行单层小波变换的基础上，根据高频系数稀疏的特点，只需测量低采样率的高频小波系数，并设计了不同的融合规则融合低频小波系数和高频测量，结合一种新的高效总变分（TV）最小化算法进行恢复。仿真结果表明，提出的方案具有较高的效率和良好的融合效果。此外，由于所提出的方案只需要不完整的测量而不是获取整个图像的所有样本，因此计算复杂度显著降低。并且由于采用了快速Walsh Hadamard变换，使得图像融合和CS重建方法的CPU运行时间远低于其他两种方法。

CS图像融合仍处于探索阶段，仍有许多问题需要解决（例如，原始图像与测量之间的关系以及如何设计最佳融合规则）。因此，与CS原理相匹配的更先进的融合规则研究是今后工作的又一研究课题。

参考文献

[1]    许良凤，林辉，胡敏.基于差分进化算法的多模态医学图像融合[J].电子测量与仪器学报，2013，27（02）： 110—114.

[2]    谷雨，周阳，任刚，等.结合最佳缝合线和多分辨率融合的图像拼接[J].中国图象图形学报，2017，22（06）： 842—851.

[3]    李尊，苗同军.基于DWT-IRLS的压缩感知图像融合[J].液晶与显示，2017，32（01）：35—39.

[4]    沈燕飞，朱珍民，张勇东，等.基于秩极小化的压缩感知图像恢复算法[J].电子学报，2016，44（03）：572—579.

[5]    METZLER C A，MALEKI A，BARANIUK R G. From denoising to compressed sensing[J]. IEEE Transactions on Information Theory，2016，62（9）： 5117—5144.

[6]    李鹏，王建新，丁长松.WSN中基于压缩感知的高能效数据收集方案[J].自动化学报，2016，42（11）： 1648—1656.

[7]    王强，张培林，王怀光，等.压缩感知中测量矩阵构造综述[J].计算机应用，2017，37（01）：188—196.

[8]    殷明，庞纪勇，魏远远，等.结合NSDTCT和压缩感知PCNN的图像融合算法[J].计算机辅助设计与图形学学报，2016，28（03）：411—419.

[9]    杜鑫.压缩感知在多源图像融合中的应用[J].太赫兹科学与电子信息学报，2013，11（04）：614—618.

[10] BLANCHARD J D，TANNER J，WEI K. Conjugate gradient iterative hard thresholding： Observed noise stability for compressed sensing[J]. IEEE Transactions on Signal Processing，2015，63（2）： 528—537.

[11]  ZHANG Q，MALDAGUE X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology，2016，74：11—20.

[12]  LIU J，XING Q，YIN X，et al. Pipelined architecture for a radix-2 fast Walsh-Hadamard-Fourier transform algorithm[J]. IEEE Transactions on Circuits and Systems II： Express Briefs，2015，62（11）： 1083—1087.

[13]  MA J，CHEN C，LI C，et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31： 100—109.

[14] OYMAK S，JALALI A，FAZEL M，et al. Simultaneously structured models with application to sparse and low-rank matrices[J]. IEEE Transactions on Information Theory，2015，61（5）： 2886—2908.

[15]  RAVELOMANANTSOA A，RABAH H，ROUANE A. Compressed sensing： a simple deterministic measurement matrix and a fast recovery algorithm[J]. IEEE Transactions on Instrumentation and Measurement，2015，64（12）： 3405—3413.

[16]  練秋生，宋爽，陈书贞，等.基于高阶马尔可夫随机场及非线性压缩感知的相位恢复算法[J].电子学报，2017，45（09）：2210—2217.

[17]  曾诚，何淦瞳.关于矩阵Kronecker乘积和Hadamard乘积的若干矩阵不等式[J].宁夏大学学报：自然科学版，2016，37（03）：268—271.

[18]  ZHANG Z，WANG Y，CHONG E K P，et al. Subspace selection for projection maximization with matroid constraints[J]. IEEE Transactions on Signal Processing，2017，65（5）： 1339—1351.

[19]  FANG Y，ZENG K，WANG Z，et al. Objective quality assessment for image retargeting based on structural similarity[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems，2014，4（1）： 95—105.

[20]  XING L，CAI L，ZENG H，et al. A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J]. Signal Processing，2018，145： 233—240.

[21]  ZHANG K，WANG M，YANG S，et al. Fusion of panchromatic and multispectral images via coupled sparse non-negative matrix factorization[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2016，9（12）： 5740—5747.