廖　婷　蒲国林　彭小利

(四川文理学院智能制造学院　四川 达州 635000)

0　引　言

图像配准指的是将不同时间、不同成像设备或不同条件下(天气、照度、摄像位置和角度等)获取的同一对象或场景的两幅或多幅图像进行匹配、叠加的过程[1]。它是目标追踪、遥感影像处理以及计算机视觉等多个领域的基础性问题，对医学影像处理、多传感器数据融合、视频监控以及图像处理质量评价等关系国计民生与信息科技前沿的重大应用的性能有不可忽视的影响。

近年来图像配准引起机器学习相关领域众多学者的深入关注，成为一个活跃的、富有生命力的科研课题。研究者们针对图像配准提出各种方法[1,14-17]。北卡罗来纳大学的Jia等学者提出了一种基于图论的图像配准方法，该方法基于训练图像对之间的非对称距离建立有向图，以判断测试图像的配准关系[1]。 IRG-SDLE是一种基于隐式引用的线性可变配准方法。它通过对图像集的联合概率估计，求得图像配准的解[2]。国内学者梁栋等提出了一种基于NSCT和SIFT的遥感图像配准算法，该算法综合利用了NSCT在图像分解上的灵活性和SIFT算法在特征描述上的有效性来进行遥感图像配准[3]。然而以上方法在处理拉伸、位移、旋转等多类型图像配准的通用性方面都存在困难。

NRI是一种基于互信息的图像配准方法，在大脑影像配准领域取得了不错的性能，然而算法在其他格式的图像配准中性能一般。阿姆斯特丹自由大学的Velden教授等提出了一种结合图像光学特征与统计学习的配准方法[4]，该方法有着严谨的理论基础，在X光影像配准实验中的效果很出色。但该方法在噪声环境中的鲁棒性较低。易盟博士提出了几套图像配准的完整框架[6]，在提取特征点、匹配特征点以及选择映射变换模型等方面都做了大量工作，取得了较好的准确度，不过该方法的实现较为复杂, 难以在实际系统中使用。

针对现有方法在图像配准方法的局限性，本文提出了一种基于Radon变换[18]和快速傅里叶变换FFT(Fast Fourier Transform)[19]的图像配准方法。首先将原始输入图像A,B进行FFT变换，其次对变换后的图像进行平移伸缩矫正。再对图像进行逆FFT迭代求参。接着对图像进行Radon变换和旋转矫正。最后进行扭曲矢量估计输出配准结果。

为了验证本文提出方法的有效性，本文设计了若干实验并将结果与现有方法进行比较。实验结果表明，本文提出的MDR-IR算法对多张实验图像都能达到优异的配准结果。在无噪声的情况下，本文提出的MDR-IR对旋转配准的平均准确率，高于其他对照算法约2～6个百分点；对伸缩配准的平均准确率，高于其他对照算法约3～7个百分点。可见，本文实现了具有鲁棒性图像配准，提高了噪声环境中图像配准的稳定性。并且本文提出方法可用于多种畸变类型图像如位移、伸缩旋转等变换的一体化匹配。

1　基于两种变换的初步配准

本节介绍基于两种变换的初步配准。假设有图像A,B。 设B为经过旋转、拉伸等畸变变换的图像，A是B的原图像，或称参考图像。若A与B的像素不同，则对像素较小的图像补零元素，使其均为M×N像素的图像，则它们的傅里叶变换如下：

(1)

在极坐标系中，它们的关系如式(2)：

(2)

式中：σ是图像在水平和垂直方向的变换系数，θ0是两幅图像之间的旋转角度。由极坐标的变换关系可得变换系数σ的定义如式(3)：

(3)

无需对图像进行快速傅里叶变换，我们就可以得到公式：

(4)

此时可以构建一个mask图像，使其满足式(5)：

(5)

式中：τ是经验参数，经过大量实验及统计，其值在40左右最佳。本文选取τ为40。则B0的中心点计算如式(6)：

(6)

如果将点(r(B),θ(B))移动到图像B的中心，则新图像可以通过式(7)表达：

B1(i,j)=B(i-r(B)+M/2,j-θ(B)+N/2)

(7)

式中：i∈[1,M]，j∈[1,N]。当(i-r(B)+M/2,j-r(B)+N/2)超出[1,M]×[1,N]的范围时，我们设B1(i,j)=0。 然后可以通过计算的出的比例系数σ来重定义B1的尺寸，使其与图像A具有相同的尺寸，从而便于求解旋转角度。变换尺寸后的图像定义如式(8)所示：

(8)

式中：i∈[1,M]，j∈[1,N]，σ为计算出的比例系数。

2　快速互相关旋转角求解

变换之后的图像B2与参考图像A之间的旋转角度θ0可由Radon变换求解[7]。如我们所知，Radon变换的一般公式如式(9)所示：

(9)

式中：δ()代表狄拉克函数。

在此定义离散Radon变换中的A和B2分别为RA(r,θ)和RB(r,θ)。 可见RA(r,θ)与RB(r,θ)除了有一定的角度旋转，其余是一样的，即RA(r,θ)=RB(r,θ+θ0)。 虽然可以通过循环互相关方法来求解θ0，但这种方式的时间效率较低。由于我们在每一步计算中都需要变换图像B，并且计算A与B2的差值，因此直接用循环互相关方法的时间复杂度为O(MN2)。

在此我们提出一种快速互相关方法。 两个离散实值函数f(x)与g(x)之间的互相关函数如式(10)所示[8]：

(10)

易知f(x)与g(x)与的卷积如式(11)所示：

(11)

设h(x)=f(-x)，则函数f(x)与g(x)的互相关可由h(x)与g(x)的卷积表示如下：

(12)

与卷积定理类似，互相关的性质也满足式(13)的定义：

FFT{f×g}=FFT{h⊕g}=

FFT{h}·FFT{h}=

conj{FFT(f)}·FFT(g)

(13)

式中：FFT是快速傅里叶变换，conj是共轭算子，通过逆傅里叶变换就可以得到的f×g的快速求解。

基于以上分析，我们可以通过快速互相关方法求解旋转角度θ0，由傅里叶变换的性质易知其时间复杂度仅为O(M×L×lnL)。设RA和RB的每一个像素行分别为rA(n)和rB(n)，我们的目标是求解互相关的最大值，也就是最匹配的rA(n)和rB(n)。 通过对rA(n)和rB(n)做一维快速傅里叶变换，可以得到共轭算子r′(u)={FFT(rA)·FFT(rB)}。通过对r′(u)进行一维快速傅里叶变换的逆变换，可以得到r″(n)=IFFT{r′(u)}。 从而可以通过每一行像素变换的最大值得到旋转位移参数以及旋转角度。旋转角度θ0如式(14)所示：

(14)

更一般地，设B3(i,j)是经过位移和旋转变换之后的图像，A(i,j)是参考图像，从而：

(15)

因此快速互相关公式可最终定义如式(16)：

fFC(i,j)=IFFT{conj[FA(x,y)gFB(x,y)]}

(16)

从而可得图像的运动矢量估计如式(17)：

(17)

通过以上步骤，可实现完整的多类畸变图像的高鲁棒性配准，本文提出的方法称为MDR-IR(Multi Distorted Robust Image Registration)。算法的完整流程如图1所示。首先将原始输入图像A、B进行初步FTT变换，即第2节所述方法。其次对变换后的图像进行平移伸缩矫正。再对图像进行逆FFT迭代求参。接着对图像进行Radon变换和旋转矫正。最后进行扭曲矢量估计输出配准结果。

图1　MDR-IR算法的总体流程图

3　实验及分析

为了验证本文提出方法的有效性，本文设计了若干实验并将结果与现有方法进行比较。实验选取两个数据集：数据集一采用ImageNet。ImageNet含有15 000 000有标记的高清图片，这些图片隶属于超过22 000个类别。实验中我们从ImageNet中随机抽取1 200 000个图像作为训练集，另外抽取50 000作为参照图片。数据集二来自于LIVEImage Quality Assessment 数据库[9]中的Relaease 1 数据集，包含808张图像，其中有29张为原始的参考图像。这些图像中包含JPEG格式的图像、JPEG2000格式的图像，含有高斯白噪声的图像以及瑞利快速衰落信号的图像。实验将原始图像进行扭曲、加噪。图2显示了数据集样例。样例中包括Monroe、Lena以及猫咪等图像处理的效果测试领域国际通用的图片。这类图片被广泛应用于现有技术的评估中。其中第二列的图像为扭曲图像，第三列图像为加高斯噪声的扭曲图像。算法代码由C++实现，实验硬件平台为普通2核PC机，软件环境为Windows 7 Pro+Visual Stadio 2008。

图2　实验数据集示例

3.1　噪声环境下的图像配准测试

除了基本的图像配准测试，本节还测试了不同噪声环境下，本文提出算法对于经典测试图像的配准效果，并与IRG-SDLE[2]、NRI[4]以及形态学聚类图像匹配[10]等方法进行了比较。为了模拟噪声环境，本文参照文献[8]对畸变图像在水平和垂直方向设置5个像素位移，并旋转0.12弧度，并缩放到原图的75%[8]。

表1显示了不同算法在ImageNet图像数据集上的配准效果。其中，Translation表示对图像进行变换配准的准确性，Rotation 表示进行旋转配准的准确性，Scale代表图像规模。实验结果表明，本文提出的MDR-IR算法无论对于Translation、Scale还是Rotation变换的配准都是比较精确的，更重要的是，其图像配准性能在噪声环境下是各算法中最稳定的，显示出了明显的鲁棒性。

表1　不同算法在ImageNet数据集上的配准效果对比

表2显示了不同算法在LIVEImage数据集上的的配准效果对比。其中，Translation表示对图像进行变换配准的准确性，Rotation 表示进行旋转配准的准确性，Scale代表图像规模。本文同时考虑不同的噪声下的效果，取噪声值分别为0, 40, 80。 从表2可以看出，本文方法对于图像的处理也具有最高的准确度和鲁棒性。在噪声为0的情况下，本文提高现有方法2到6个百分点。表明本文提出方法对噪声环境，多类型畸变图像配准的有效性。

表2　不同算法在LIVEImage图像数据集上的配准效果对比

3.2　实验结果讨论

由实验结果可知，本文提出的MDR-IR算法在多张实验图像的配准中取得较高的精度和鲁棒性。在无噪声的情况下，本文提出的MDR-IR对两幅图像的位移配准都是完全精确的；旋转配准的平均准确率高于其他对照算法约2～6个百分点；伸缩配准的平均准确率高于其他对照算法约3～7个百分点。在噪声因子为σn=40的环境中，本文提出算法的配准准确率优势更加明显，旋转配准的准确率比其他方法高约9～21个百分点，伸缩配准的准确率高约13～18个百分点。当图像噪声高达σn=80时，两种对照算法已无法完成配准任务，MDR-IR依然有着可接受的图像配准性能。

此外，本文提出算法在旋转配准方面的准确率是与像素点数目M，N相关的。在实验中我们使用了360个样本点来描述角度的旋转，如果选择更多的样本点，旋转角度配准的Radon将会取得更高的精度。

4　结　语

本文提出了一种多类畸变图像的高鲁棒性配准方法。该方法首先在Radon变换的技术上提出了互相关方法的低时间复杂度部署策略，其次提出了通过快速傅里叶变换与快速傅里叶变换的逆变换估计图像配准因子的方法，最终通过逐行迭代实现了算法的参数估计，达到了多类畸变图像的配准。

实验结果表明，本文提出算法对位移、旋转和伸缩等多种形式的畸变图像都有较高的配准精度，并且随着图像噪声的增强，配准性能优势愈发明显。因此本文提出算法是具有高度鲁棒性的高精度图像配准算法，对提高相关应用的性能有着积极的作用。特别是对于目前互联网信息中图像数据的比重日益增大的现状[11]，本文提出的方法有更为重大的意义。

[1] Jia Hongjun,Wu Guorong,Wang Qian,et al.Directed graph based image registration[J].Computerized Medical Imaging and Graphics,2012,36(2):139-151.

[2] Smailovic Jasmina,Grcar Miha,Lavrac Nada,et al.Stream-based active learning for sentiment analysis in the financial domain[J].Information Science,2014,285(11):181-203.

[3] 梁栋,颜普,朱明,等.一种基于NSCT和SIFT的遥感图像配准算法[J].仪器仪表学报,2011,32(5):1083-1088.

[4] van Velden F H,Nissen I A,Hayes W,et al.Effects of reusing baseline volumes of interest by applying (non-)rigid image registration on positron emission tomography response assessments[J].Plos One,2014,9(1):e87167.

[5] Cambria E,Olsher D,Rajagopal D.SenticNet 3:a common and common-sense knowledge base for cognition-driven sentiment analysis[C]//Twenty-Eighth AAAI Conference on Artificial Intelligence.AAAI Press,2014:1515-1521.

[6] 易盟.基于特征点的图像配准及其在稳像中的应用[D].西安电子科技大学,2013:10-15.

[7] Averbuch A,Coifman R R,Donoho D L,et al.A Framework for Discrete Integral Transformations I-The Pseudopolar Fourier Transform[J].Siam Journal on Scientific Computing,2007,30(2):764-784.

[8] Nikolic D,Muresan R C,Feng W,et al.Scaled correlation analysis:a better way to compute a cross-correlogram[J].The European journal of neuroscience,2012,35(5):742-762.

[9] http://live.ece.utexas.edu/research/quality/subjective.htm.

[10] 彭红.基于形态学聚类算法图像配准仿真研究[J].计算机仿真,2012,29(2):257-260.

[11] 戴礼灿.大数据检索及其在图像标注与重构中的应用[D].中国科学技术大学,2013:25-28.

[12] 倪国强,刘琼.多源图像配准技术分析与展望[J].光电工程,2004,31(9):1-6.

[13] 张锐娟,张建奇,杨翠.基于SURF的图像配准方法研究[J].红外与激光工程,2009,38(1):160-165.

[14] 刘斌,彭嘉雄.图像配准的小波分解方法[J].计算机辅助设计与图形学学报,2003,15(9):1070-1073.

[15] 周鹏,谭勇,徐守时.基于角点检测图像配准的一种新算法[J].中国科学技术大学学报,2002,32(4):455-461.

[16] 刘小军,杨杰,孙坚伟,等.基于SIFT的图像配准方法[J].红外与激光工程,2008,37(1):156-160.

[17] 苏娟,林行刚,刘代志.一种基于结构特征边缘的多传感器图像配准方法[J].自动化学报,2009,35(3):251-257.

[18] Herman G T,Natterer F.Mathematical Aspects of Computerized Tomography[M]//Lecture Notes in Medical Informatics.Mathematical Aspects of Computerized Tomography.Springer Berlin Heidelberg,1981.

[19] Kent R D,Majmudar N,Schlesinger M.Distributing Fast Fourier Transform Algorithms for Grid Computing[M]//High Performance Computing Systems and Applications.Springer US,2002:407-424.