Research on multimodal image registration method combining multi-scale features and local sampling description

Jia Zhiyou，Wang Guogang （School of Information Enginering，Shenyang Chemical University，Shenyang11O142，China）

Abstract：Aimingatthematching dificultiescausedbytheexistenceofserious geometricdiferencesandnonlinearntensity diference（NID）indiferentmodal images，this paperproposedamultimodal imagealignmentmethodcombining multi-scale featureswithalocalsamplingdescription.Firstly，themethodintroducedanonlineardifusionequationtoconstructanonlinearscalespace，andthen itcombineda phaseconsistencyandorientedFASTandrotatedBRIEF（ORB）algorithm to obtain multi-scalestable feature points.Then，the method proposedarotation-invariant doubleGaussiansamplingdescriptor，which could robustly span the rotation difference of [0^∘，360^∘） in the presence of NID. Finally，the method introduced an image recoverystrategy.The methodobtainedtheoptimal geometrictransformationmodel through primarymatching，corected the geometricdiferences existingbetween images，andthenperformed secondarymatching toimprovethematchingaccuracy. Experiments on multimodal data sets inremote sensing，medicine，andcomputer visionshowthattheroot-mean-squareerorof the proposed method can reach within 1.5 pixels and the correct matching rate can exceed 98% when there are geometric diferencessuchasscaleandrotation.Theresultsdemonstrate that this methodcanovercometheinfluenceof nonlinearradiation difference between images and achieve high precision registration.

Keywords：multimodalimages registration；nonlinear scale space；phase coherence；double Gausian sampling descriptor; nonlinear radial disparity

0 引言

图像匹配是计算机视觉领域的一个基础和关键问题，其目的是在两幅或多幅图像中提取可靠的特征对应，使之成为图像融合、图像检测、目标跟踪等多个领域的先决条件。而不同传感器类型、不同成像时间或视点的多模态图像存在尺度、旋转、仿射和非线性辐射（nonlinearintensitydifference，NID）等差异，从而导致匹配性能大幅下降，难以满足不断变化的实际应用要求[1]。针对这一难题，专家学者们提出了大量的方法。这些方法大致可划分为基于模板的匹配方法、基于深度学习的匹配方法和基于特征的匹配方法三类。

基于模板的匹配方法的关键是选择合适的相似性度量，之后利用相似性度量和优化方法来准确估计几何变换参数，从而驱动配准过程的优化。频域中的相位相关（PC）2是最广泛使用的相似性度量。Ye等人[34]提出了定向相位一致性直方图（HOPC）算法和基于定向梯度通道特征（CFOG）的算法。Fan等人[5提出了基于角度加权定向梯度的像素级特征。此类算法高度依赖先验信息来粗略地消除几何扭曲，包括尺度变化和图像旋转。尽管这些方法对NID表现出良好的鲁棒性，但它们很容易受到几何扭曲的影响。因此，在图像存在大幅度旋转以及尺度等几何差异时，往往会配准失败。

深度学习的快速发展为解决多模态图像问题提供了一种新的方法。为了解决多模态图像之间显著的非线性辐射差异，Baruch等人[提出了一种新的卷积神经网络（CNN）架构。该架构利用连体CNN和双非权重共享CNN，将生成的特征检测器与特征描述符紧密耦合，并在VIS-NIR跨模态场景中获得了良好的结果。……