西安铁一中国际合作学校 李思潼

0 引言

在日常生活当中，我们时常遇到不能近距离大幅度拍摄画面，而远距离拍得的图像又不甚清晰，分辨率低的苦恼。在市面销售解决这一问题的鱼眼镜头，广角，超广角式镜头又太过专业，操作复杂并且价格相对较为昂贵，不适合普通人使用。即使是现在手机具备的全景式拍照功能，其拍得的图片通常会变形且过小，从而无法展示图像应有的细节。因此图像拼接技术应运而生。

图像拼接技术通过融合图片，解决了分辨率过低，变形等问题。图像拼接能够将普通相机或手机拍摄的具有重叠部分的图像进行自动拼接，实现全景图像的效果，操作简便且成本低廉，更贴近大众用户，具有广泛的实际研究前景和实用意义。

1 图像拼接系统流程

本文所设计的图像拼接系统可分为四个模块：图像获取、图像预处理、图像配准和图像融合。首先是图像获取模块，该模块首先要加载需要拼接图像的张数和需要拼接的几张图像的路径，运用Opencv读取源图像。接下来对象进行预处理，包括对待拼接图像进行去除噪声，畸形矫正和去除无关信息等。然后将预处理后的图像输出到图像配准模块进行匹配。在图像配准模块，首先是基于尺度不变特征转换（Scale-Invariant FeatureTransform,SIFT）算法对待匹配的图像提取局部特征，然后对这些特征点进行配准。最后在图像配准的基础上对图像进行融合。图像融合即需要找到要拼接的图像的重叠区域，然后选择合适的图像融合算法将它们融合在一起。本文中选择了像素加权平均融合算法来融合待融合的图像，得到质量较好的拼接图像。该系统的整体工作流程图如图1所示。

2 图像预处理

一般情况下，我们获取和传输图像的过程中或多或少会受到一些人为或者非人为因素的干扰。比如摄像者技术水平限制，拍照时光照条件不佳等情况。因此我们一般要对原始拍摄的图像进行预处理。图像预处理的目的是优化图像，包括去除一些噪声，畸形矫正，和图像增强等操作，这样可以更方便对后续图像进行处理。

图1 图像拼接系统工作流程图

接下来结束图像拼接系统图像预处理部分常用的图像去噪方法。几乎所有的数字图像处理系统都有图像去噪这一步，去噪效果的好坏直接决定了整个系统是否能够顺利完成。作为图像预处理中不可或缺的一步，图像去噪有种多种典型方法。相机拍得的图像常会有高斯、加性和“椒盐”三种噪声，其中高斯噪声是由于相机等图像获取装置内部的阻性器件造成的，它的概率密度函数符合高斯分布；加性噪声不能全部消除，但可以通过算法减轻影响；“椒盐”噪声就是在一副黑图像随机分布了一些白点或者一副白图像上的随机分布有一些黑点，从而影响图像的质量。

针对我们要拼接的图像情况，可以采取以下一种或多种方法组合进行去除噪声：均值滤波：这种方法是将每一个像素点的灰度级用它的邻域的像素点灰度级平均值代替。这种滤波方法可以有效抑制加性噪声，减弱尖锐点等，但同时也可能会带来边缘模糊的问题。中值滤波：该滤波方法是先将中心点像素及其邻域像素的灰度级排序，然后将排序后的中间值灰度级代替中心像素点的灰度级。该方法也能减弱加性噪声，且同时能够较好地保留图像边缘和细节部分。中值滤波器在去除脉冲噪声有着独特的效果和优势。高斯滤波：这种滤波方法是用设计好的高斯核与图像进行依次卷积，依次更新图像的像素值。高斯滤波可以平滑图像达到去除图像噪声的目的，同时也会模糊图像。

3 图像配准

待拼接的图像进行预处理后，我们接下来要对图像进行匹配。图像匹配是基于局部特征提取的图像拼接系统中尤为重要的一步，其匹配的结果将直接影响后续图像融合的准确度。我们的图像配准部分分为局部特征点提取、局部特征点匹配和RANSAC精匹配三部分。

3.1 局部特征点提取

图像批准的第一步是提取图像的局部特征。本文采用的是基于SIFT算法的SIFT特征点提取。SIFT(Scale-Invariant FeatureTransform)特征检测方法是由David Low于2004年提出。SIFT特征算子具有对旋转、尺度缩放和亮度变化能保持极强的稳定性，甚至对噪声也保持一定程度的不变性。

基于SIFT算法提取图像的局部特征分为以下四步：1）检测图像尺度空间的极值，初步选出图像关键点的位置;2)特征点精定位，在上一步确定的候选关键点拟合一个精确的模型进一步筛选出关键点；3）确定每一个关键点的方向信息；4）对这些特征点生成相应的特征描述符。

3.2 局部特征点匹配

局部特征点匹配是将两幅待拼接的图像用上述方法提取的SIFT特征进行向量化，并求取两幅图像的SIFT特征向量的欧式距离，从而进行匹配。

在求得两幅图像的局部特征向量后，我们先选取待拼接图像1的某一个关键点，再根据公式1求出在图像2中与该关键点欧氏距离最近的关键点。依次循环求出所有匹配的关键点从而得到基于SIFT特征的待拼接图像粗匹配结果。

3.3 RANSAC精匹配

步骤3.2中得到的匹配结果可能会存在误匹配的情况，要是将粗匹配的结果直接用来做融合操作会影响图像的拼接效果。因此需要对上一步粗匹配的结果进行精匹配，我们采用基于RANSAC的方法进行精匹配。

精匹配的方法可描述为：假设我们总共有N对粗匹配的关键点，这些关键点对大部分都符合一个模型，描述这个模型的所有参数至少需要n（n＜N）对关键点才能求出。

筛选出误匹配的关键点对方法如下：（1）在N对粗匹配关键点中随机选取n对关键点；（2）用选出来的N对关键点计算出一个模型M；（3）求出剩下的N-n对关键点与模型M之间的距离，记下在我们设置的误差允许范围内的关键点对数count。重复以上三个步骤若干次后，我们把得到count值最大的模型当作我们要求的模型，在N对关键点中这count对关键点当作是我们精匹配的结果，而另外的N-count对关键点就当成是粗匹配过程误匹配的结果。

4 图像融合

在完成图像的匹配后，我们要对图像进行融合以完成拼接过程。首先我们要确定图像的重合区域，然后保留各自独立的区域，最后取重合的区域然后拼接在一起。但是拼接的结果很容易出现一些缝隙，使得图像看起来不是那么自然。所以需要我们采用优秀的融合算法使得拼接的结果看起来满足人们的审美，看起来更为自然。图像融合通常需要我们在信号级、像素级或者特征级上对图像进行融合。融合算法通常有基于颜色差值、像素加权平均和多分辨率样条技术等几种方法。本文选择了像素加权平均融合算法来进行图像融合。

如公式2所示，f1(x,y)是图像1的像素，f2(x,y)是图像2的像素。我们将各自独立的图像区域保留，在重叠区域，我们合理选择w1和w2的值，有效的消除拼缝，实现拼接处图像的平滑过渡。最后实现的图像拼接效果如图1所示。

5 结束语

本文实现了一种基于局部特征提取的图像拼接系统，可以快速完成对多幅图像的拼接。该系统有如下优点：采取SIFT算法对待拼接图像进行局部特征提取，运用SIFT尺度不变性等优势有效降低关键点的误匹配概率；运用RANSAC算法进行精匹配，进一步提高匹配正确率；应用加权平均融合算法有效减少拼接缝隙，使得拼接后的图像看起来既光滑无缝又显得自然。同时本系统也有一些缺陷，比如在待拼接的图像质量比较差包括曝光不合理、对比度较低等情况，拼接的效果将不是很理想，这也为下一步完善系统指明了改进方向。