无监督深度学习模型的多聚焦图像融合算法
2021-11-12王长城周冬明刘琰煜谢诗冬
计算机工程与应用 2021年21期
王长城,周冬明,刘琰煜,谢诗冬
云南大学 信息学院,昆明650504
由于光学镜头的景深有限,很难让同一场景内的不同的物体在一次拍摄内全焦,因而多聚焦图像融合已成为图像处理领域的一个重要课题[1]。许多研究人员致力于设计融合算法,将同一场景的多个显著特征不同的图像整合成全聚焦融合图像。融合图像可用于进一步的图像处理任务,因此,多聚焦图像融合技术在医学成像、计算机视觉、遥感和数字成像领域有着广泛的应用[2]。
随着深度学习的发展,越来越多的深度学习技术应用于各种图像融合任务,并取得了优异的效果。基于卷积神经网络(CNN)的多聚焦图像融合方法[3]首先被提出,该算法以监督学习的方式训练网络对“聚焦”和“离焦”图像进行分类,以计算融合权重图。之后,基于像素的CNN(P-CNN)[4]通过对多聚焦图像中的“聚焦”和“离焦”像素进行分类,对算法进行了改进。但是CNN的性能更多取决于带标签的大型训练数据集的可用性,算法通过将用于图像识别的基准数据集模糊化模拟多聚焦图像以解决数据集缺乏的问题,但生成的训练数据集脱离实际,很难实现优越的融合效果。
Deepfuse[5]首先提出以无监督学习的方式训练网络来融合静态多曝光图像,Densefuse[6]以无监督的方式训练网络旨在融合红外和可见图像,它采用编码器-解码器网络,编码器网络提取深度特征,解码器融合特征获得融合图像。但由于无监督端到端的学习运用到多聚焦图像融合上不能同时融合彩色图像和灰色图像,并且特征提取不够全面,不够有针对性,导致融合图像易模糊。……
登录APP查看全文
