基于生成对抗网络的可见光与红外图像融合
2022-04-21刘锃亮吕恒毅
无线电工程 2022年4期
刘锃亮,张 宇,吕恒毅
(1.中国科学院长春光学精密机械与物理研究所,吉林 长春 130033;2.中国科学院大学 光电学院,北京 100039)
0 引言
图像融合属于图像增强技术,目的是为了将不同的图像融合在一起生成信息丰富的图像,从而方便进行进一步处理。为了满足人们生产生活中在各种复杂环境下的需要,多源图像的融合引起了广泛的重视。红外图像可基于辐射差异将目标与背景区分开来,同时可见光图像可提供符合人类视觉感知的具有高空间分辨率和清晰度的纹理细节[1]。为了取得令人满意的融合效果,关键是有效的图像信息提取和合适的融合原则。
图像融合算法目前已经发展多种不同的方案,包括多尺度变换[2]、稀疏表示[3]、神经网络[4]、子空间[5]、混合模型[6]和其他方法[7]。现有方法通常在融合过程中对不同的源图像使用相同的变换或表示,然而它不适用于红外和可见光图像,因为红外图像中的热辐射和可见光图像中的细节纹理是2种不同现象的表现。此外,大多数现有方法中的图像信息提取和融合规则都是手工设计的,并且变得越来越复杂,受实现难度和计算成本的限制[8]。
受最近两年在CVPR会议上香港科技大学李铎、陈启峰团队[9]提出的一种多尺度卷PSConv和天津大学王启龙团队[10]改进的轻量级注意力模块ECA-Net的启发,在融合生成对抗网络FusionGAN[11]的基础上,在其残差网络中引入了PSConv,以提升特征提取的细粒度与深度,再经过ECA网络增强对有用信息的收集,从而使最终融合后的图像具有更丰富的细节特征和纹理信息。……
登录APP查看全文
