邱治邦

摘 要：遥感图像融合中的泛锐化是指将全色图像与低分辨率多光谱图像进行融合，得到高分辨率多光谱图像。最近，卷积神经网络基于CNN的泛锐化方法已经达到了最先进的性能。尽管如此，仍然存在两个问题。一方面，现有的基于cnn的策略需要监督，只需对高分辨率图像进行模糊和降采样即可获得低分辨率多光谱图像。另一方面，它们往往忽略全色图像丰富的空间信息。为了解决这些问题，我们提出了一种新的无监督框架，用于泛锐化，该框架基于生成式对抗网络，称为CBMA_PanGAN，在网络训练中不依赖所谓的真实数据集。在我们的方法中，生成器分别与光谱鉴别器和空间鉴别器建立对抗博弈，从而保持多光谱图像丰富的光谱信息和全色图像的空间信息。

关键词：PanGan;高通;滤波相融合;深度神经网络遥感图像;超分辨率

一、CBMA-PanGAN网络架构

优化网络是在PanGAN的网络基础上引入高通滤波算法，亚像素卷积采样，已经增加了目前最为流行的CBMA注意力模块（通道注意力和空间注意力）。另外我们的网络是基于tensorflow1.0版本架构开发，虽然近几年主流深度学习框架为Pytorch，但是基于tensorflow开发的网络架构然有优秀的算法可以改进，而TensorFlow架构没有如pytorch架构具有注意力的框架。所以在具体算法编码过程中，我们提供了在TensorFlow1.0版本架构中添加各类注意力机制的解决思路和办法。

我们改进后的CBMA-PanGAN网络架构在保留了光谱信息和空间信息的基础上，引入了PanNet提出的高通滤波及ResNet的网络思想，极大程度上的过滤掉了平滑噪声，同时由传统的插值采样的办法改为亚像素卷积的方式，提高了采样后图像质量。……