贾文超

(广东省工程勘察院，广东 广州 510000)

1 引 言

实际生活中，当遇到超过人眼视角的场景时，近距离无法拍摄事物的全貌，而远距离又将引起所拍物体过小，放大后出现马赛克现象。因此，为获得高分辨率全景图片，对图像进行拼接是十分必要的。很多学者对图像的匹配进行了研究，产生了各种各样的匹配算法。大体上可分为以下几类：①基于灰度值的匹配[1，2]：该方法从待拼接图像的灰度值出发，通过计算待配准图像与参考图像中相同尺寸区域的相似性度量来实现图像的拼接。其优点是计算简单，但当图像中存在较大噪声或重叠部分特征不明显时匹配误差较大。②基于频域的匹配(相位相关度方法)：通过傅立叶变换将图像变换到频率域再进行匹配。该方法简单、精确，可克服相关性噪声干扰，但需要较大的重叠比例[3](>50%)。③基于特征的匹配：该方法通过提取图像中的特征点并对其进行描述，然后利用匹配良好的特征点计算变换矩阵从而实现图像的拼接。相比于以上两种方法，基于特征匹配方法的健壮性和鲁棒性更好，能够较好地适应图像的尺度、平移、旋转以及光照的变化。而点特征作为最基本的特征，其计算过程简单，且能保持影像的灰度不受损坏，因此得到了广泛的应用。

近年来，应用较为广泛的点特征匹配算法有：Lowe等人于2004年提出SIFT(Scale Invariant Features Transform)算法[4]，该算法在高斯差分尺度空间内进行极值点的检测及关键点的定位，然后通过统计梯度直方图为每个关键点指定主方向并建立4×4×8维的描述子。这保证了该算法提取的特征点具有很好的尺度不变性，但同时也增加了算法的运算量。基于此，Bay提出了更加优越的SURF(Speeded Up Robust Features)算法[5]，它针对SIFT提取时间长的不足进行了改进。一方面，SURF采用了不同大小的盒滤波与原始图像卷积构建金字塔，使运算易于并行；另一方面，在特征子的描述上SURF算法通过统计领域内Harr小波响应获取主方向，然后为每个特征点建立4×4×4维的描述子。经过以上改进，SURF算法将提取速度提高为SIFT算法的10倍，但方向不变性方面不如SIFT算法好。2011年，Garage等人[6]提出了可替代SIFT和SURF的新算法，该算法为FAST角点赋予方向，并与改进后的BRIEF描述子相结合，将检测速度提升为SURF的10倍，且检测效率为SIFT的两个数量级。但该算法提取的特征点尺度不变性不佳。

为更加快速、高效地实现全景图的拼接。本文对SIFT算法、SURF算法以及ORB算法进行对比及分析，并结合鱼眼图像自身的特点，采用ORB算法进行图像特征点的提取。此外，通过结合特征点筛选和多种影像融合方法相结合的策略，实现了全景图的拼接。

2 数据及方法

2.1 数据

实验中使用的数据为2015年2月于地下停车场使用配有 8 mm定焦鱼眼镜头的尼康D7100单反相机拍摄的图像。相机以90°为固定旋转角，在每一位置共获取4张图像，构成360°的场景影像。每张图像分辨率为6000×4000，水平及垂直分辨率为 300 dpi。

2.2 全景图拼接流程

全景图像的拼接首先要对获取图像进行畸变校正和影像去噪等预处理操作；其次，使用特征点提取算法提取每幅图像的特征点，进而对特征点进行筛选；随后，利用RANSAC算法求解变换矩阵并采用光束法平差实现全局配准；最后，需要将每幅影像投影到统一坐标系下对图像进行拼接和融合，输出全景图像。实现全景图像拼接的整体框架具体如图1所示。

图1 全景图拼接整体框架

2.3 图像特征提取及拼接算法

(1)ORB算法

ORB(Oriented FAST and Roated BRIEF)算法是基于FAST角点检测器[7]和改进后的BRIEF[8]描述子建立的，简要流程如下：

①FAST角点检测

FAST角点检测，即检测候选特征点邻域内的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别足够大，则认为该候选点为一个特征点。数学表达如式(1)所示：

(1)

其中，I(x)为圆周上任意一点的灰度，I(p)为圆心的灰度，εd为灰度差的阈值，如果N大于给定阈值T(一般为周围圆圈点的四分之三)，则认为p是一个特征点。本文中采用效果较好的FAST-9(即圆半径为9)。

由于FAST算子未考虑尺度特征。故本文通过构建金字塔图像，并在每一层中检测FAST角点来确保检测出的角点具有一定的尺度不变性。

②灰度质心法确定主方向

灰度质心法[9]认为角点的强度是偏离中心的，利用这个矢量可以计算方向。Rosin定义特征点邻域的p+q阶矩为：

(2)

依据上式，特征点的中心强度定义为：

(3)

θ=arctan(m10/m01)

(4)

③改进的BRIEF特征描述

BRIEF描述子通过随机选取兴趣点周围的若干点来组成兴趣区域，将其灰度二值化并解析成二进制码串，以此作为特征点的描述子。为了使特征点之间更易区分，Garage[6]对检测出的特征点进行排序，仅保留方差大且相关性小的部分关键点，使提取结果得到显著提高。

(2)特征点对的筛选与精确匹配

匹配是将两幅影像中同名特征点对应起来。本文中首先采用欧氏距离比值排除外点[10]。其原理是通过k-d树得到一个特征点到最近邻特征点的距离Dis1，其到次近邻特征点的距离Dist2，比较这两个值的比值是否在阈值ε范围内，如果满足则保留最近邻的特征点对，反之则剔除。

(5)

采用欧氏距离比值排除部分外点后，对保留特征点使用RANSAC法[11]解算出单应矩阵H。接下来采用光束法平差进行全局配准以减小误差累积带来的影响，实现影像间的配准。

2.4 图像融合算法

(1)最佳缝合线法

理想的最佳缝合线是两幅图像重叠区域的差值图像上颜色、结构强度差值最小的线，因此缝合线的求解准则如下：

E(x，y)=Ecolor(x，y)2+Egemetry(x，y)2

(6)

其中Ecolor(x，y)为重叠像素的颜色值之差，Egenetry(x，y)为结构差值，它是通过修改Sobel算子实现的。新模板为：

Egenetry(x，y)=diff(I1(x，y)，I2(x，y))，diff的求解通过计算两幅图像I1和I2在x，y方向的梯度差的乘积得到。按照上述准则，运用动态规划的思想[12]，从重叠区域差值图像的第一列开始，建立以该列每一个像素为起点的缝合线，最后从所有的缝合线中寻找一个最优解作为最佳缝合线。

(2)多通道图像融合法

多通道融合法的基本原理是构建出重叠部分的拉普拉斯金字塔，将不同层的图像进行融合从而重构出图像。由于图像通常存在曝光差异，使用最佳缝合线法融合后的影像在拼接区域会存在鬼影，因此采用多通道法对影像进行二次融合，以实现平滑自然的无鬼影拼接。

3 结 果

3.1 数据预处理

实验中首先对鱼眼图像使用Defishr-10软件进行矫正，矫正后图像分辨率为6000×4000，水平及垂直分辨率为96dpi。图2、图3分别为一幅原始鱼眼图像及其对应的矫正后图像。

图2原始鱼眼图像及其矫正结果图

3.2 图像特征提取实验对比

针对SIFT算法、SURF算法和ORB算法三种特征提取算法，本文编写相应程序并将其应用于实验图像数据中进行特征提取，同时结合欧氏距离比值法(ε=0.5)对提取特征点进行筛选，三种算法特征提取及筛选后上午匹配结果分别如图3～图5所示。

图3SIFT特征提取及筛选后匹配结果

图4 SURF特征提取及筛选后匹配结果

图5 ORB算法特征提取及筛选后匹配结果

上图中，彩色圆为各算法初步提取的特征点，两幅图像之间的连线为经欧氏距离筛选后保留的匹配点对。通过对各算法在相同的图像(1500×1000)上的执行效果进行大量实验及统计，本文采用式(7)来评估各算法的提取效率。各算法的对比结果如表1所示。

(7) 不同特征提取算法对比结果 表1

SURF提取特征点数量最多，SIFT次之，ORB算法提取的特征点数最少。但在特征提取时间效率方面，ORB算法最高，SURF算法最低。同时结合图3可以看出SIFT提取的特征点经筛选后仍存在误匹配点对。以上结果表明，ORB算法能够提取图像中较稳定的特征点，比SIFT和SURF算法具有更快的提取速度和更好的检测效率。

3.3 全景图拼接

对于筛选后的特征点，本文采用RANSAC算法计算相邻图像间的变换矩阵，并采用光束法平差进行全局配准；然后将各图像投影到统一坐标系下完成拼接；最后在影像融合方面将最佳缝合线法和多通道融合法相结合，输出全景图。图6为全景图拼接效果图。

图6全景图拼接效果图

4 结 论

本文对目前应用较为广泛的SIFT算法、SURF算法与ORB算法在特征点提取的速度和效率方面进行了对比和分析。结果表明，ORB算法能够提取图像中较稳定的特征点，较SIFT和SURF算法具有更快的提取速度和更好的检测效率。基于此，使用ORB算法开发了相应的全景图拼接程序。本文研究的不足之处，如鱼眼图像矫正效果不佳等，将在以后的研究中加以完善。