黄一昕

(中国铁路经济规划研究院有限公司，北京 100038)

1 概述

无人机倾斜摄影技术是一项全新的测绘手段，已在各行业得到广泛的应用，并展现出巨大的价值与潜力[1]。该技术以无人机为载体，通过传感器等设备进行信息的收集、储存及共享，全方位真实反馈地物具体情况[2]。在铁路行业，无人机倾斜摄影技术多用于生产实景三维模型，并作为底图与精细化的BIM模型集成，对铁路前期的设计选线及后期的汇报展示等工作具有重要意义。

受拍摄设备及飞行环境的影响，无人机影像具有数据量大，姿态不稳定等问题[3]，利用传统SIFT算法进行影像匹配时，通常以牺牲时间为代价来提升影像匹配的正确率。为有效解决无人机影像的匹配问题，研究人员已进行大量研究。何孝莹等针对无人机影像提出分块匹配策略，认为采用该策略可以大幅提高正确率，减少计算用时[4]；任伟建等利用箱式滤波器对图像进行尺度空间运算，通过引入SURF算子来降低特征向量维数，达到缩短图像匹配时间，提高运算速度的目的[5]；张庆功等在不改变原算法的基础上，利用GPU对SIFT算法进行并行处理，在保证良好特征点提取和匹配效果的前提下取得良好的加速比，大大节省计算时间[6]。孙鹏等提出了一种基于数字信号处理器(DSP)内核硬件乘法器处理单精度浮点型像素数据乘法的算法，实践证明，该方案可以满足无人机组网遥感影像临场处理对SIFT算法的实时快速要求[7]。由此可见，减少运算时间，提升运算效率是无人机影像匹配的关键。

铁路无人机倾斜影像是沿铁路线路一定范围内进行拍摄的，涉及大量铁路、房屋、道路、密林等地物，影像数据量大，对匹配效率和正确率要求较高。受地质环境、地形起伏等因素的影响，影片间会具有不同的倾角及旋角，这对保持影像特征点的旋转不变性造成一定影响。以下针对铁路无人机影像匹配，提出一种减小尺度空间与降低描述符维度相结合的改进算法。

2 算法概述

图像匹配技术是利用无人机倾斜影像生产实景三维模型的核心，主要基于灰度的匹配算法、基于特征的匹配算法、基于解释的匹配算法[8]，SIFT(Scale-invariant feature transform)算法为特征匹配算法中的一种，即尺度不变特征变换，是图像处理领域的一种描述[9]。SIFT算法提取的图像局部特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也可保持一定程度的稳定性[10]。由于提取的特征信息量丰富，即使少数几个物体也可产生大量的SIFT特征向量，适用于在海量特征数据库中进行快速、准确的匹配。近年来，SIFT已经成功应用于图像拼接、视频识别和检索、计算机视觉及目标识别等众多领域[11]。

SIFT算法的计算大致可分为尺度空间的建立、特征点(极值点)检测、分配关键点的主方向、计算特征描述符4个步骤，见图1。

图1 SIFT算法流程

2.1 尺度空间建立

构建多尺度空间的目的是通过连续变化的尺度参数获得不同尺度下视觉处理信息， 然后综合这些信息深入挖掘图像的本质特征[12]。通常，同一目标物体在不同尺度图像上会展现出不同的细节信息，即只有当一个物体处于一定的尺度范围之内才是有意义的。通过对图像进行多尺度空间变换，为后续获取图像的特征点创造条件。通常，利用高斯卷积核(Gaussian Kernels)进行图像的尺度变换[13]，计算公式为

(1)

L(x，y，σ)=G(x，y，σ)⊗I(x，y)

(2)

其中，G(x，y，σ)表示二维高斯函数；⊗表示图像间的卷积运算；I(x，y)表示输入的图像；L(x，y，σ)表示经高斯卷积运算后生成的尺度空间图像；σ表示尺度因子。在构建尺度空间时，首先通过高斯卷积函数运算生成不同尺度的高斯金字塔，之后将高斯金字塔相邻两层相减，生成高斯差分金字塔，见图2。

图2 尺度空间示意

2.2 特征点(极值点)检测

特征点(极值点)检测是在生成的差分高斯金字塔内寻找极大值或极小值点。通常，如果图像中的某一点在本层以及向下一层与向上一层对应的所有邻域范围内都是极大值或极小值点，则取该点为图像的极值点。在获取极值点的位置信息和尺度信息后，还需去除低对比度极值点和不稳定的边缘响应点。一般情况下，采用在极值点周围进行Taylor函数展开[14]，以确定精确极值点位置，并去除对比度低的点，再用Hessian矩阵计算主曲率去掉不稳定的边缘响应点[15]。

2.3 分配关键点主方向

选取距离特征点尺度σ最近的高斯图像，计算以特征点为中心的一定范围内所有像素点的梯度值和方向，并使用直方图进行统计。首先，将360°按照每10°分为一段，共分为36段。分别计算特征点的梯度方向在每一段的权重累加值，此时梯度值即为权重。梯度m(x，y)和方向θ(x，y)计算公式为

m(x，y)=[(L(x+1，y)-L(x-1，y))2+

(3)

(4)

式中，L(x，y)为关键点所在的高斯图像。

2.4 计算特征点描述符

将坐标轴旋转到关键点的主方向，确保图像的旋转不变性，再计算以关键点为中心的16×16的窗口内所有像素点的梯度值和梯度方向。窗口内的每个小格代表关键点邻域所在尺度空间的一个像素，然后再将所选邻域分为4×4子区域，见图3。分别计算8个梯度方向在4×4区域的累加值。最终，每个特征点可生成d=4×4×8=128的向量。

图3 原始SIFT特征描述符示意

3 算法改进

在对原算法进行深入分析后，决定对尺度空间和特征描述符两个方面进行改进，见图4。

图4 SIFT算法的主要改进步骤

3.1 尺度空间改进

在构建尺度空间时，由于无人机影像数据量大，有必要通过减少金字塔影像的组数(Octave，O)来提升计算效率，减少用时。O的计算公式为

O={lg2(min(M，N))}

(5)

其中，M，N分别代表图像的行、列数，{}为取整运算。经分析后，仅使用前2组金字塔影像进行特征点提取。

3.2 特征描述符改进

在构建特征描述符时，同样选取特征点周围16×16窗口区域。此时，在窗口范围内选取半径R∈(1， 8)的圆形区域进行计算，并非传统SIFT算法中的正方向区域。可生成8个半径不等的圆环，见图5。首先，在每个圆环区域内计算所有像素点的梯度值和梯度方向。之后，计算每个像素点在0°、45°、90°、135°、180°、225°、270°、315°这8个方向上的梯度累加值并进行排序和直方图均一化操作。最终，每个圆环内均可获得8个方向的梯度累加值。8个圆环即可获得d=8×8=64维的特征描述符向量。

4 实验数据

为验证改进后SIFT算法对铁路无人机倾斜影像的匹配效果，选取某铁路沿线周边的无人机倾斜影像进行两组实验。第一组实验所用影像包含了铁路线路周边的房屋、桥梁等地物，见图6 (a)、图6 (b)；第二组实验所用影像包含了铁路、道路及周边树木等地物，见图6 (c)、图6 (d)。两幅影像均涉及大量铁路周边特征地物，具有代表性。

图6 某铁路沿线周边无人机倾斜影像

实验硬件环境为Thinkpad笔记本电脑，处理器：CORE i7 7500；内存：8 GB；CPU主频：2.90 GHz；编译环境：Python3.7和OpenCV3.4.2。

5 实验结果与分析

5.1 实验一

实验一结果见表1。

表1 实验一匹配结果数据

由表1可知，当O=2时，即只取前2组影像参与计算时，两幅影像中提取到的特征点个数分别为1 560、1 644，约占特征点总个数的90%。此时，提取特征点个数与原算法的特征点个数差别不大，这是由于影像本身较大且包含丰富的地物纹理信息及灰度信息。匹配结果的正确率相比原算法稍有下降，但是运算效率较原算法提升13.4%。

在取O=2、d=64时，共得到38个匹配对，其中，错误匹配数为6对。与原始SIFT算法得到的161总匹配对、38个错误匹配对相比，正确率由原来的76.4%提升至84.2%，用时率较之前提升了45.8%，达到预期效果。改进后的算法对房屋、道路、桥体识别较好，点对分布均匀，但是对于阴影所在的区域出现错误匹配点，见图7。

图7 实验一匹配结果图像

5.2 实验二结果

实验二结果见表2。

由表2可知，当O=2时，两幅影像中提取到的特征点个数较原始算法有所减少，运算效率较之前提升了24.9%，但正确率稍有降低。

表2 实验二匹配结果数据

当O=2、d=64时，得到的最终匹配对数由最初的75对下降到25对，正确率与原算法基本持平，用时率较之前提升了58%。改进后的算法对房屋、道路及铁路的识别较好，见图8。但对于密林，出现的错误匹配点数增稍有增加，这是由于降低尺度后，图像部分细节信息丢失造成的。

图8 实验二匹配结果图像

从以上两组实验可知，通过对原始SIFT算法进行减小尺度和降低维度的改进后，可以在确保正确率的前提下减少图像的匹配对数，从而提升运算效率。针对铁路无人机倾斜影像涉及的房屋、道路、铁路、桥梁等地物，改进后的算法表现出高适应性，极大降低图像匹配的误配率。对于密林、阴影部分地物，虽然精度稍有下降，但在可接受范围内，同时降低了匹配所用的时间，不影响图像整体匹配结果。此外，针对图像旋转问题，其结果依旧表现出高稳定性。

6 结束语

在深入研究经典SIFT算法进行图像匹配的基础上，提出一种减小图像尺度空间与降低描述符维度相结合的改进算法，有效解决了铁路无人机倾斜影像间的匹配问题，在确保正确率的条件下，提高算法效率，缩短图像匹配时间。改进后SIFT算法的缺点是对影像中密林、草地、阴影部分的特征点匹配不够精确，这是由于影像中阴影及植被覆盖地区灰度值变化不明显，造成特征点提取困难。因此，如何在密林及阴影区域提取特征点，提升匹配的鲁棒性是值得进一步深入研究的问题。