丁海燕，刘合辉，刘春菊

（1. 61175部队，武汉 430074）

SIFT遥感影像快速配准方法

丁海燕1，刘合辉1，刘春菊1

（1. 61175部队，武汉 430074）

针对SIFT算法存在内存消耗多、运算速度慢的问题，采用金字塔和分块策略，首先对原始影像进行粗配准，然后再作分块影像匹配，在匹配过程中根据局部熵过滤掉冗余特征点，并使其均匀分布于影像，以实现精确配准。对错误匹配点先利用相关系数初步剔除错误点，再利用极线约束对错误匹配点进行精细剔除，最后将RANSAC算法应用于剩下的匹配点，进一步提高匹配精确度。

SIFT；影像配准；极线约束；点特征

影像配准是多源数据融合、变化检测、影像镶嵌、运动检测和目标识别等诸多遥感应用的前期工作，其结果好坏直接影响后续工作的质量[1]。基于灰度的配准算法对几何形变较为敏感，难以解决遥感影像中不连续、阴影、被遮蔽以及不同波段之间影像配准的问题[2]。基于特征的配准算法通过提取点、线、面特征来实现影像之间的配准，可以在一定程度上解决上述问题。在基于点特征的影像配准算法中，SIFT（尺度不变特征变换）算法具有尺度和旋转不变性[3]，对于较大范围内的仿射形变、三维视点变化、噪声和明度变化可以提供稳健的匹配，在影像配准中得到了广泛应用。

1 SIFT算法原理步骤

SIFT算法是一种提取图像局部特征的算法，通过在高斯差分尺度空间（difference of gaussian，DOG）寻找极值点作为关键点，提取尺度、亮度、旋转不变量。基于SIFT点特征的提取与匹配算法由点特征提取、特征描述子计算和特征匹配3步组成[4]。

1）对原始影像采用不同标准差σ进行高斯平滑，然后对平滑后的影像求差，得到高斯差分影像。在差分影像上取灰度值极大或极小的点作为特征点。高斯平滑公式如式（1）[5]：

2）以特征点为中心，取给定高宽的影像区域，计算该区域内每个像元的梯度方向和梯度强度。统计不同梯度方向上的梯度强度总和，以此构成特征向量。

3）计算待配准影像和参考影像上不同特征点的特征向量的欧氏距离，将距离最小的特征点作为初始匹配点，并根据最邻近和次邻近的欧氏距离之比剔除误匹配点。

2 提高SIFT运算效率与特征点分布均匀性

2.1 金字塔和分块策略

在原始影像的基础上构建影像金字塔，采取由粗到精的策略，从上层金字塔开始匹配，然后递推到下一层，并为下一层金字塔的匹配提供控制参数，具体思路如下：

1）对原始影像进行重采样，生成高宽均小于给定阈值的缩小影像，并利用SIFT特征匹配实现缩小影像之间的配准，获得初始变换参数。

2）对原始待配准影像进行重采样，生成初步消除缩放、平移和旋转形变之后的粗配准影像，确定粗配准影像和参考影像的重叠区域，在重叠区内对待配准和参考影像进行分块。

3）在分块影像中分别提取SIFT特征点，并进行特征匹配。

4）收集各分块影像的匹配点并剔除粗差，得到最终的匹配点集，解算几何变换模型参数，生成精确配准影像。

2.2 过滤冗余特征点并均匀分布剩余特征点

遥感影像具有数据量大和纹理信息丰富的特点，影像匹配可以得到大量的SIFT特征匹配点[6]，但匹配点数目过多也可能带来一些问题，如解算几何模型参数时存在冗余，实际所需要的控制点数目可能远小于匹配点数目；会增加后续特征匹配的运算量，导致运算效率下降。

影像配准的成功率和可靠性在很大程度上取决于特征点的质量与分布情况，因此，在兼顾效率与精度的情况下，应在剔除冗余数据点的同时保证特征点分布均匀，具体思路如下：

1）确定所需特征点的总数N。太多的点会增加匹配的计算量，而太少的点可能会导致匹配失败。

2）根据标准SIFT生成高斯尺度空间，该空间包含ON个组，每个组包含LN层，初始尺度因子为σ0。对每一层利用标准SIFT算法提取特征点作为初始候选点，剔除对比度区间前15%不可靠的特征点。由式（2）计算所需特征点个数Nol[2]：

将当前尺度层影像划分为规则格网，并且根据式（3）计算每个格网单元所需的特征点个数n_celli：

式中，Ei表示格网单元i的信息量（熵），由式（4）计算得到；WE和Wn分别表示信息量和所需特征数量的权重，MCi为平均对比度[7]。

每一格网单元保留3×n_celli个高对比度点，抛弃其他低对比度的点。由标准SIFT算法计算保留点的精确位置和尺度，然后用阈值T=10的主曲率分析方法去除质量较低的特征点。由式（4）计算剩余特征点的信息量熵，然后在格网单元里选取信息量熵最大的n_celli个特征点。

3）由标准SIFT算法计算提取的特征点的主方向并生成特征描述子。

2.3 算法并行实现

由于多核环境采用的是共享存储模式，易于实现算法级别上的并行，本文针对各环节的特点分别进行并行化。在各处理步骤之间保持串行处理，在具体实现每一步骤时，则根据处理单元数目以像元或者特征点为单元进行并行计算。

3 剔除SIFT错误匹配点

经过以上步骤得到的SIFT匹配点依然会存在大量的错误匹配点，这些错误匹配点对图像定位、图像配准和图像特征库的建立等都会产生严重的影响，所以研究如何删除错误匹配点具有重要意义。

3.1 相关系数初剔除

给出基准图像中的特征点x（u，v），使用中心位于该点、尺寸大小为（2n+1）×（2m+1）的窗口作为目标窗口，对该特征点在待配准图像中对应的一个或多个特征点xi'（u'，v'）在大小为（2n+1）×（2m+1）的搜索窗口完成一个相关操作。其中，相关系数由公式（5）给出[2]：

式中，E（x）是以特征点为中心的（2n+1）×（2m+1）大小的矩形区域内（相关窗口）的灰度均值。

由于在初步建立的特征匹配关系中，存在“一对多”或“多对一”的匹配关系，因此要保留相关系数最大的匹配点对，去除其他的匹配关系，建立一对一的匹配关系。

3.2 对极几何约束

对极几何关系可以用基础矩阵F来描述,该矩阵包含了相机所有的内部和外部参数信息，独立于场景结构，仅由两幅图像中的对应点就可以求出。因此，对极几何关系的求解可归结为如何精确、鲁棒地估计F。

假设同一场景的两幅影像为I、I'，mi和 mi'分别为一空间点M在两幅影像中的投影点，则mi'必定位于mi在图像 I'中的对极线l'（ l'=Fm）上，即

由于实际中存在噪声、错误匹配以及计算误差，使得对应点不能恰好位于对应极线上，它们之间存在一定的距离。当用残差mi'TFMi来表征误差的大小时，矩阵F的估计就转化为用最小二乘法求解使残差最小的无约束最优化问题。

M-Estimators算法根据每个点对估计基础矩阵的贡献不同，对其进行加权处理[5]，降低误差大的点对估计基础矩阵的影响。M-Estimators算法对每个点的残差进行加权处理，以此抑制大残差的外点（outliers）对矩阵F估计过程的影响。用ri表示残差mi'TFMi，则M-Estimators算法就是求解下面的表达式：

其中，wi是权重函数,由式（8）给出；σ为残差中误差。

算法具体步骤如下：

1）用最小二乘法估计初始的基础矩阵F，特征点对的权值均为1。

2）计算每个特征点对的残差，大于阈值T1时去除该点对。

3）用剩余特征点对计算新的基础矩阵F、权值函数wi。

4）转步骤2，直到所有特征点对的残差小于阈值T2。 5）最后对剩余的匹配点对应用RANSAC算法进一步剔除错误点，使匹配精度进一步提高。

4 基于优化SIFT算法的影像配准

基于优化SIFT算法的影像配准流程为：首先利用上述优化算法获得匹配点对，然后将匹配点对作为后续影像配准的同名点对,并利用最小二乘法求解配准模型变换参数,以实现影像精确自动配准。

5 实验分析与结论

为了评价算法改进部分对配准精度和效率的影响，本文选取正宁地区的无人机黄土影像（2 848×4 272像素）进行了实验。在实验过程中，预先通过人工选择或者匹配得到控制点解算几何变换模型，然后根据变换模型判定匹配点是否正确。影像采用一次多项式几何模型，判定的粗差阈值设定为2个像元。剔除粗差后，以匹配点集的均方根误差（RMSE）评价配准精度，正确率和均方根误差分别为：

式中，Vxi和Vyi分别为待配准影像上第i个匹配点X方向和Y方向的残余误差，n为匹配点的数目。

如图1所示，标准SIFT匹配点对582对,其中存在有大量交叉连接线，在摄像机视角变化不大的情况下，一般为错误匹配点对。经过相关系数、极线约束、RANSAC剔除粗差点对和过滤冗余点后，取均匀分布的正确匹配点对120对，如图2所示。表1为正确匹配点对的像片坐标和X、Y方向残差。实验结果说明此优化SIFT算法匹配正确率有着很大提高，同时匹配点对在重叠区域分布较好。以此算法得到的匹配点对进行配准，得到结果如图3，其全局RMSE为1.57，说明此优化算法配准精度很好。

同时，在采用了金字塔和分块、特征点过滤和并行化策略后，速度有了很大提升。选择一台Intel 4核CPU，主频3.1 GHz，内存4.00 GB，操作系统为Microsoft Windows 7的计算机执行设计程序。在4核并行下，处理时间由13 859 ms下降到了3 353 ms。

图1 标准SIFT结果

图2 正确匹配点对

表1 正确点对像片坐标和X、Y方向残差

图3 配准拼接结果

6 结 语

本文针对SIFT算法在遥感影像配准中存在内存消耗多、运算速度慢的问题，从金字塔和分块策略、特征点过滤和并行化3个方面对原算法进行了改进。实验证明，改进后的算法对大范围遥感影像之间的配准具有较好的适应性，算法效率也得到显著提高。对于SIFT算法存在大量错误点对的问题，从相关系数、极线约束和RANSAC 3个方面进行优化，通过比较，改进后算法能够较好地剔除粗差点，提升配准精度。不过，算法改进部分对配准精度的影响存在一定的随机性，因而在实际应用中应当根据精度和效率的需要合理设置参数。

[1] 张曼祺.基于线特征的多源遥感影像配准研究[M].南京:河海大学,2006

[2] 张剑清,潘励,王树根.摄影测量学[M].武汉:武汉大学出版社,2003

[3] LOWE D G. Distinctive Image Features from Scale-invariant Key Points[J]. International Journal of Computer Vision,2004, 60(2):91–110

[4] MOREL J M,YU G.ASIFT:a New Framework for Fully Affine Invariant Image Comparison[J].Siam Journal on Imaging Sciences,2009, 2(2): 438–469

[5] KAN K,SUKTHANKAR R. PCA-SIFT: a More Distinctive Representation for Local Image Descriptors[D]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society,2004

[6] 李芳芳,肖本林,贾永红,等．SIFT算法优化及其用于遥感影像自动配准[J].武汉大学学报（信息科学版）,2009,34(10): 1 245-1 249

[7] JI Hua, WU Yuanhao,SUN Honghai,et al. SIFT Feature Matching Algorithm with Global Information[J]. Optics and Precision Engineering, 2009, 17(2): 439-444

P237

B

1672-4623（2017）02-0069-03

10.3969/j.issn.1672-4623.2017.02.022

2015-04-15。

丁海燕，高级工程师，研究方向为地理信息系统。