臧景峰 徐宁雪

摘要：图像的配准与融合是计算机视觉和模式识别的研究热点，在航拍视频序列处理、医学图像分析、运动分析等领域有着广泛的应用。视频增强技术只在去雾、图像配准、图像融合等某一个特定任务中表现很好，具有一定的局限性。而卷积神经网络的堆叠和利用可以同时实现视频图像增强所需的多种功能。本文采用孪生结构的深度卷积神经网络实现图像配准和图像融合，具有重大应用价值。

关键词：孪生结构;图像配准;图像融合

引言

为获得场景信息更丰富的图像，通常用到图像配准与图像融合方法，图像融合是将多幅不同图像集成为一幅图像，集成后的图像蕴涵着所有图像的优势信息，融合算法的基础是图像的配准技术，深度学习具有提升图像融合和配准质量的潜力。

1 孪生卷积神经网络的设计

本文所设计的孪生卷积网络（Siamese Network）由两个权重相同的卷积神经网络（Convolutional Neural Network，CNN）组成。每个CNN由两个卷积层，两个池化层，一个残差块以及一个全连接层组成的，将原本Siamese网络中的一个卷积层换成了残差块。输入的patch为16×16，即卷积层和池化层的通道数都是16（即卷积模板为16种），其卷积核的大小为3×3，池化窗口尺寸为2×2，卷积方式为零填充（zero padding），卷积层的激活函数为Relu，且子CNN输出的是256维特征向量，每个池化层包括跨信道归一单元。

2 基于Siamese網络的图像配准算法

本文提出一种孪生结构的深度卷积神经网络来提取图像卷积特征，算法先逐像素地提取固定图像和浮动图像的图像块对，并利用Siamese网络提取图像块的特征。……