贺养慧

(朔州师范高等专科学校 数计系，山西 朔州 036002)

传统的MFIF方法在计算机领域中已经得到广大专家学者的广泛关注[1]，这种方法是采用LR(low resolution，低分率)多聚焦图像恢复技术让HR(high resolution，高分辨率)多聚焦图像恢复，最终目的是增加LR多聚焦图像中的相关成分(即高频成分)[1].而基于局部目标特征提取和NSCT变换的图像融合技术更是让人瞩目，故而在MFIF领域中引入了基于局部目标特征提取和NSCT变换的新型思想[2].若是采用传统的多聚焦图像模型，即使是一些比较简单的模型拟合也不得不利用人工方式进行提取[3];若是基于局部目标特征提取和NSCT变换相结合的多聚焦图像模型，即使一些层次化程度较高的特征表示也可以采用自动化方式获取[4].由此可见，基于局部目标特征提取和NSCT变换相结合的多聚焦图像模型比传统多聚焦图像模型要高级得多[5].

结合实际情况，本文采用局部目标特征提取和NSCT变换的动态多聚焦图像相融合模型，这种做法的优势是能够让一些多聚焦图像的融合信息能够更方便地提取，从而让融合效果更好.通过实验对比发现，本文采用的方法，与多聚焦图像传统方法相比，具有更佳的融合效果.

1 动态多聚焦图像融合模型

本研究中，在分析模型库时有效结合了多聚焦图像库.在实验部分将给出相关证明，即大数据量分析的优势，它可以让高达6层的局部目标特征提取和NSCT变换得到最大限度的发挥，同时让方法性能得到有效提升.

所采用的局部目标特征提取和NSCT变换相结合的网络结构图可参考图1.

图1 本文方法的模型结构

第1层的算法可以参考文献[6]中的式(1).在式(1)中，W1所包含的滤波器数量为n1，其模型为3×3，我们可以把它理解为W1对多聚焦图像分析的次数为n1，其局部目标特征提取和NSCT变换为3×3；在本层中，所输出的特征映射数量为n1；B1指的是n1维的向量，在本层中n1的值是128，在激活模型中采用的方法是ReLU.

至于第2层到第5层的模型结构，它与第1层的模型结构极其相似.

(1)

在式(1)中，W2所包含的滤波器数量为n2个，在本层中n2的值是64，跟第一层模型的数量相比，数量降为一半；同样的道理，第3层的滤波器个数为n3=32，第4层滤波器的个数为n4=16，第5层滤波器的个数为n5=8，滤波器大小均采用固定的模型，即3×3.激活模型中采用的方法均是ReLU.

第6层模型，我们可以将其称为HR分析模型，它跟IEDCNN的最后一层模型是一样的：

F(Y)=W6·F5(Y)+B6.

(2)

为了让模型参数Θ={W1,W2,W3,W4,W5,W6,B1,B2,B3,B4,B5,B6}可以顺利求取，故而采用了和IEDCNN一样的方法，因此采用的损失模型为MSE.

2 多聚焦图像融合处理

(3)

τmn(t)表示经过t周期后(m，n)像素点上的信息素含量，信息素含量随着周期次数而变化；Ω(i,j)代表图像中像素点(i,j)的邻域范围；ηmn代表对图像的启发信息，本文将ηmn假设为像素节点(m,n)的灰度梯度；Gk代表k蚂蚁的数据信息，主要用来记录已经处理过的像素节点，通过这种方式即可避免蚂蚁重复选择到达过的像素节点；α假设为图像信息素的权重，蚂蚁在像素转移时，受到残留在像素上的信息素影响的程度；β假设为启发因子的权重，主要用于像素间进行处理时受到影响程度.

通常，会将两个距离接近的像素灰度进行相减运算后取绝对值，然后得到像素节点(m,n)的灰度梯度的取值，amn代表像素节点(m,n)的灰度梯度值.可以将G设为一个多聚焦图像，将G′设置为G的位移，则G-G′表示多聚焦图像间灰度梯度的差值，其表达式如式(4)、(5)及(6)所示：

(4)

(5)

(6)

在式(6)中，将全部的像素节点取值设置为正，则图像中像素节点(m,n)的灰度梯度值可取|amm-a(m)(n+1)|.根据式(6)的计算方法，可获得像素节点(m,n)剩下的邻域内梯度差值.如式(7)所示：

(7)

3 实验及结果分析

在本研究中，采用的硬件平台是3.5 GHz Intel i5 CPU，内存大小为32 GB，显存大小为6 GB，显卡型号为GTX980 Ti，所分析数据其存储位置为SSD缓存，其目的是提高运行速度.

由于6层模型参数较多，在采用的方法中使用的多聚焦图像库应当是动态的.在实验中需要从ImageNet中抽取5万幅(抽取方式采用的是随机抽取方式)，所抽取的多聚焦图像中，像素不能超过512像素，让这5万幅多聚焦图像组成新的多聚焦图像库.在本研究中，为了便于对照，只分析灰度多聚焦图像，利用PSNR(peak signal to noise ratio，峰值信噪比)与SSIM(structural similarity，多聚焦图像结构相似性)参数对融合图像的数值标准进行衡量.

表1表示的是本文方法与IEDCNN的对比.观察表1可知，本文所采用的方法，在大多数情况下，都比IEDCNN具有明显的优势.

表1 分析HR图形的PSNR和SSIM结果

图2 s=2的视觉表达结果对比图

从主观视觉角度来看，本文研究中所采用的方法可以得到更加清晰的融合图像.另外，本文所采用的方法还可以对振铃效应起到一定的消除作用.在图2中，表示的是s=2时，视觉表达效果的对比图.通过观察1119242.JPEG可知，本文研究中所生成的HR多聚焦图像字母，相比之下，其融合也显得更加清晰更加平滑，而采用IEDCNN方法所生成的HR多聚焦图像字母，在字母周围就出现了非常明显的振铃效应.由01119688.JPEG与1119978.JPEG的结果可知，采用IEDCNN方法所分析的HR多聚焦图像也是有振铃效应的，但采用本研究中使用的方法，其振铃效应就得到了有效的抑制.

在图3中，表示的是s=3时的视觉表达结果对比图.在图4中，表示的是s=4时的视觉表达结果对比图.通过观察分析可知，若放大倍率较高，采用本文方法可以让振铃效应得到有效抑制，其融合更加平滑.

图3 s=3 的视觉表达结果对比图

图4 s=4的视觉表达结果对比图

4 结论

本文采用的多聚焦图像融合模型是在IEDCNN参考模型的基础上，并利用局部目标特征提取和NSCT变换相结合的动态模型结构，图像融合时还引入了蚁群算法，使得融合图像更光滑，放大更高倍数仍然清晰.在研究过程中，本文将模型深度增加到了6层，同时将模型数量扩大了1倍，可以对融合进行更有针对性的分析.本研究中所采用的方法比IEDCNN更具优势，尤其是图像融合效果清晰度更佳，同时也让振铃效应得到了有效的抑制.