林克全,劳卫伦（广州供电局有限公司，510620）



基于sift、对极几何和ransac配准的图像拼接方法

林克全,劳卫伦
（广州供电局有限公司，510620）

摘要：近年来，全景图像已经得到广泛的应用，越来越多场景需要全景图片的展示。本文结合图像特征提取及融合技术，对在摄像机不同位移情况下拍摄的照片进行拼接。通过对不同图像的sift特征值提取，并结合对极几何和ransac算法对sift特征值进行分析，剔除错误特征点，进行特征点配准，计算图像间的特征配准及变换矩阵，以提高图像配准的准确度，实现不同图像的拼接。

关键词：图像拼接；sift特征；对极几何；ransac算法

1　概述

图像拼接技术的研究是在现实应用的需求下逐渐发展起来的。图像拼接技术可应用于现场环境的模拟，为用户提供对陌生现场环境的远程浏览服务，实现对现场环境的查询、浏览和注释，可广泛应用在供电企业生产运行的不同场景，满足不同部门和基层单位的全景现场展示需要，并可作为项目电子化移交的有效补充，也可提供员工培训使用，便于对现场环境进行全方位的信息获取。同时可以结合音频介绍，加强生产办公场所实景的电子化和远程可视化。

本文结合sift、对极几何、ransac算法构建全景图像拼接方法，找出两幅图像之间的特征值，该特征值要具有旋转及尺度不变性，根据特征值进行配准，使一幅图像中的点最优地映射到另一幅图像中，形成有效的特征提取及特征配准算法，提高图像配准的准确度，实现可广泛应用不同场景的图像拼接。

2　关键算法简介

2.1sift特征

sift算法，即尺度不变特征转换算法，是一种计算机视觉的算法，用来侦测与描述影像中的局部性特征，在空间尺度中寻找极值点，并提取出位置、尺度、旋转不变量。该算法主要步骤分为以下三步：

（1）构建尺度空间。尺度空间理论目的是模拟图像数据的多尺度特征，通过高斯卷积核实现对二维护图像的尺度空间的定义。

其中 G(x,y,σ) 是尺度可变高斯函数

（2）寻找尺度空间的极值点。在尺度空间中，每一个采样点和它所有的相邻点比较，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点若在尺度空间本层以及上下两层的26个领域中是最大或最小值时，可判定该点是图像在该尺度下的一个特征点。

（3）构造极值点描述子。通过对尺度空间的极值点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，在极值点尺度空间内4×4的窗口中计算的8个方向的梯度信息，共4×4×8=128维向量表征。所有极值点的向量形成sift算法的特征值。

2.2对极几何

对极几何是描述两幅图像之间内在关系的射影几何，它与具体的景物结构无关，仅由摄像机的内参数以及相对姿态来决定，而两幅图像之间的内在身影关系可以通过基础矩阵来体现，可通过利用基础矩阵来剔除错误匹配点对。

对于双目视觉系统，即有两个摄像机，定义两个摄像机的光学中心点为、，在三维空间中存在一个场景点，这个点与两个摄像机光学中心点共同构成的平面就是极平面，每个摄像机都有一个图像平面，分别为Image1和Image2，交Image1 于点，交Image2于点，而连线分别交两个图像平面于和，这两个点称为极点，称为基线。极平面与图像平面相交于两条极线和，这两条极线的关系是对应的，而、、、分别位于和上示。

随着三维场景点的移动，极平面将绕着基线转动，这些极平面共同构成一个极平面束，这些极平面与图像平面所交汇成的极线族分别都交于两个极点和。

这个从点到线的映射关系称为基础矩阵F。F可以用一个秩为2的3阶矩阵来表达，设为上的点，那么它在上的对极线议程由给出，由于的对应点在上，因此有:。可以看出，基础矩阵的重要性在于不需要参考摄像机矩阵，即仅从对应的图像点对就能给出一种描述基础矩阵的方式。

2.3ransac算法

ransac算法的输入是一组观测数据，一个用于解释观测数据的参数化模型以及一些可信的参数。ransac算法通过反复选择数据中的一组随机子集来达成目标.

3　全景图像拼接方法

本文介绍的全景图像拼接方法，算法的流程及步骤如下：

（1）摄像机读取不同的图像。

（2）用sift算法分析获取不同图像的特征值，采用初始的特征值进行匹配，匹配过程会存在将大的误差，匹配结果并无法达到预期效果。

（3）通过对极几何原理获取特征点的基础矩阵，基础矩阵可以体现图像之间的对称映射关系，能有效地剔除大量外部点，排除大量干扰信息，但仍然无法排除与重叠区域存在一样对称的离散点，这部分离散点仍会保留下来。

（4）为了进一步排除这些离散点，通过ransac算法对特征点进行迭代归类分析，通过多次迭代寻找全局最优值，能有效地剔除这些离散的干扰点，保留最佳的匹配特征值。

（5）通过特征点的匹配关系，计算出图像间的变换矩阵，利用变换矩阵可以将图像进行拼接。

4　实验结果

为了验证本文提出的算法，我们的实验选取了包括室内与室外不同场景、不同光线强度、不同的摄像机位移和焦距情况下的图像进行图像拼接。实验结果证明本文的算法具有较好的鲁棒性，能有效地匹配不同图像间的特征，所提取的图像特征具有尺度不变性、灰度不变性、位移不变性。但该算法目前尚未优化图像的合成效果，在图像拼接后，未将不同图像进行灰度统一调整，尺寸统一调整。

5　结论

本文主要研究将sift、对极几何和ransac配准算法用于全景图像的拼接中，用基础矩阵和ransac算法对sift初始特征值进行优化，提取出图像覆盖的图像特征点，通过这些特征点进行图像融合。该方法经实验验证，能有效地进行全景图像融合，具有较好的鲁棒性，图像拼接效果良好，为运动分析、虚拟现实技术等图像处理领域的全景图像应用奠定扎实的基础，也能应用于供电企业生产运行的不同现场场景模拟，提供员工远程场景的培训使用，具有良好的应用推广前景。

参考文献

[1] 崔得龙，弓云峰，左敬龙.基于改进SIFT的图像拼接算法.电子设计工程.2013, 21(2):34-37

[2] 劳卫伦.基于智能视频监控技术的电力系统异常场景检测.电子技术与软件工程.2015,2:90-91.

[3] David G.Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004, 60(2):91-110

[4] 钟健. 基于对极几何的图像匹配研究.中南大学.2010

[5] 许斌，李忠科，孙玉春. 对极约束下的相位相关图像匹配算法.计算机应用研究.2014, 31(2):615-618

[6] CS Chen，YP Hung，JB Cheng. RANSAC-based DARCES: a new approach to fast automatic registration of partially overlapping range images. Pattern Analysis and Machine Intelligence. 1999, 21(11):1229-1234

林克全（1986-），男，广东人，工程师，硕士（已毕业），从事电力信息化项目建设工作。

劳卫伦（1979-），男，广东人，高级工程师，博士，从事电力信息化项目建设工作。

Image mosaic method based on SIFT, Epipolar Geometry and RANSAC

Lin Kequan,Lao Weilun
（Guangzhou Power Supply Bureau Co. Ltd.,Guangzhou,Guangdong ,510620,China）

Abstract：In recent years,the panoramic image has been widely used.More and more scenes need to be displayed in a panoramic picture.This paper applies image feature extraction and fusion technology for mosaicking images taken under the conditions of different displacement of the camera. This paper extracts the SIFT features of different images, and analyzes the features based on epipolar geometry and RANSAC algorithm to discard false matches and find more matches. Therefore, the feature registration and transformation matrix are calculated to improve the accuracy of image registration and image mosaic.

Keywords：image mosaicking; SIFT features; Epipolar Geometry;RANSAC algorithm

作者简介