万年红，王雪蓉

(浙江东方职业技术学院工程技术系，浙江温州 325011)



基于边缘特征点的全景图像拼接算法

万年红，王雪蓉

(浙江东方职业技术学院工程技术系，浙江温州 325011)

全景图像拼接技术已经成为图像处理领域中的一个研究热点.传统的基于特征的全景图像拼接方法存在旋转、扭曲对匹配结果影响较大的缺点，拼接质量不高.为改善和提高拼接效果和扩展度，首先对图像边缘特征点的配准、几何坐标优化、空间坐标变换、最优投影变换参数的求解、融合等方面展开研究，然后基于此改进相应算法，提出一种基于边缘特征点的全景图像拼接算法，并进行了应用实验.实验结果表明，所给算法比传统算法具有更良好的拼接效果和实用价值.

全景图像拼接；边缘特征点；图像配准；几何坐标优化；最优投影变换；图像融合

全景图像拼接是将取自不同视角的有重叠部分的若干幅图像拼成一幅高分辨率图像的技术.随着图像处理技术的发展，全景图像拼接技术已经成为图像处理领域中的一个研究热点.目前，学界已经提出了多种全景图像拼接算法，如基于特征的方法、基于频域的方法、基于像素的方法以及基于灰度相关的方法等.其中，基于特征的方法对图像旋转和尺度变化等均具有不变性，对灰度变化、图像形变以及遮挡等都有较好的适应能力，相比其它方法更具有稳定性和鲁棒性，被广泛应用于目标识别、虚拟现实等领域[1-10].关于基于特征的方法的研究成果也很多，例如，曹世翔等人提出一种快速有效的边缘特征点提取方法，实现了多分辨率图像的融合从而完成拼接[1]；宗岩等人在传统SIFT算法的基础上对图像拼接中的特征匹配和图像融合两个关键部分进行了改进，改进后的算法能有效去除运动重影现象[2]；曾丹等人提出了基于全局拓扑结构的分级三角剖分图像拼接方法，大大减少了投影变换矩阵计算点数[9].随着研究的深入，传统的基于特征的全景图像拼接方法的误匹配特征点个数在逐渐减少，配准精度已提高到亚像素水平，同时配准和拼接的时间也在大幅缩短[1]，在收敛速度、精度、计算量方面都有优势.但是，传统的基于特征的全景图像拼接方法也存在图像尺度的比例变化、旋转、扭曲对匹配结果影响较大的缺点[9]，相邻图像的重叠部分的误匹率仍然比较高，因此，算法精度和速度仍然是全景图像拼接技术的核心研究问题.

本文针对已有研究的不足，从图像边缘特征点的配准、几何坐标优化、空间坐标变换、最优投影变换参数的求解、融合等角度考虑，提出一种新的基于边缘特征点的全景图像拼接算法，简记为PMABTEFP（Panorama Mosaic Algorithm Based on The Edge Feature Points）.

1 PMABTEFP总体架构

全景图像拼接算法一般包括全景模型选择、图像采集、图像预处理、图像配准、图像融合及全景图展示浏览等步骤[11-13]，其中图像配准与图像融合是两个最重要的步骤，全景图像拼接的基础是图像配准与图像融合.因此，PMABTEFP总体架构分为图像边缘特征点的配准、几何坐标优化、空间坐标变换、最优投影变换参数求解、融合及基于边缘特征点的全景图像拼接算法等模块.PMABTEFP总体架构如图1所示.

PMABTEFP的流程如下：1）图像边缘特征点配准.分别求解待配准图像与参考图像之间的边缘特征点集，通过边缘特征点在树中的路径，将剖分关系映射到参考图像点集，并求解边缘特征点在树中的最短路径长度；2）优化图像边缘特征点几何坐标.通过指数映射算法将空间几何坐标变换到球面坐标，通过矩阵李群进行旋转变换、缩放变换、仿射变换和投影变换，将几何形变映射拉回最优流形方向；3）通过目标转换函数、黎曼指数映射、嘉当分解、嘉当对合、切空间内积变换图像边缘特征点空间坐标；4）通过最优投影变换参数、灰度变换求解图像边缘特征点最优投影变换参数；5）通过输入图像的插值结果图和误差度量函数进行图像边缘特征点融合处理；6）设计基于边缘特征点的全景图像拼接算法.

1.1 图像边缘特征点配准

图像边缘特征点配准即特征点选择与对齐.基于图像特征配准的全景图像拼接关键的第一步是依赖明显的基准特征块的检测提取，也即通过自动或手动方式将图像中如封闭曲线、轮廓线、边界、交叉点、线条、角度等突出明显的边缘特征点检测出来.从众多的边缘特征参数中选择与提取合适的图像边缘特征点，以实现全景图像拼接算法中计算精度和计算量之间的平衡，是一个难点.对此，文献[1]指出卷积核与图像卷积中的极值点是图像的稳定特征点，算子中包含归一化尺度因子，基于差分去噪和旋转不变的优点，得到的特征点对旋转、平移和光照等噪声有非常好的鲁棒性[1].但文献[1]所提的方法计算代价较高，全景图像拼接时显得过于冗余，且会产生较多的误匹配，使拼接精度降低，并不能反映灰度变化、图像形变以及遮挡等的适应能力.为此需要对该方法进行改进.

图1 PMABTEFP总体架构

设待配准图像与参考图像间的边缘特征匹配点分别组合成Si=｛1,2,…,n｝和Oi=｛1,2,…,n｝点集，拼接图为G(V, E,ω)，其生成树为T，权值ω为比率量，n是两图之间1∶1的边缘特征匹配点数，对Si建立剖分集合Ti=｛1,2,…,m｝，且顶点u, v在树T中的路径为Si(u, v)=(u=r1, r2,…, rn=v)，并将剖分关系映射到点集Oi，u, v在树T中的最短路径长度dT(u, v)可表示为路径中各边权值的累加.改进前配准图像u与参考图像v之间的边缘特征点配准公式参见文献[1]，则改进后的公式如式（1）所示：

与改进前的公式相比，式（1）对原公式的最大改进是实现了顶点 ,u v在树T中的路径选择，对iS建立剖分集合iT，并将剖分关系映射到点集iO中.式（1）提出的在边缘图像中提取图像边缘特征点的方法是在小波变换下完成的，即能够根据边缘特征点集的拓扑结构对边缘特征点集进行分级剖分，从而实现配准，大幅减少匹配数目，提高全景图像拼接精度.因此，相比改进前的算法，式（1）根据网格的配准关系，逐步将多对多的不确定匹配降为一对一配准，具有平移、缩放、旋转不变性等特性，同时对光照变化、仿射及投影变换也有一定的不变性，更具有稳定性和鲁棒性.

1.2 图像边缘特征点几何坐标优化

图像边缘特征点配准可以将在不同视点处采集的图像处于各自独立的坐标系中，所以需要找出这些坐标系间的刚体置换矩阵，然后将所有的边缘特征点变换到同一个坐标系中.但是，在配准过程中使用图像处理的方法提取两幅纹理图像上的若干兴趣特征点时，缺乏正确匹配的特征点，并且受几何噪声影响；另外，几何坐标优化的总体思想是将三维空间中边缘特征点的低维几何特征映射到二维空间，然后利用图像配准方法和边缘特征点的几何信息找出匹配的边缘特征点，这就需要讨论边缘特征点的几何优化框架.边缘特征点几何优化框架采用全景图像拼接流形坐标优化算法[13]，使用8参数模型、拉回映射映射和黎曼指数映射将平移变换、平移加旋转变换（即刚性变换）、缩放变换（即相似变换）、仿射变换和投影变换等几何变换带来的几何形变映射回最优流形方向，再通过灰度相关系数来准确确定变换函数.图像边缘特征点配准的必要条件是通过指数映射算法将空间几何坐标（Vx，Vy，Vz）变换到球面坐标（Vδ，Vφ，Vh），然后根据接收到的全景图像拼接几何坐标来求解空间变换模型中的未知参数以及建立变换函数或映射公式.因此基于指数映射的几何优化算法是构成配准坐标变换与投影算法的理论基础.当变换函数建立后，坐标也随之一致化，进而求得变换参数的关联矩阵初始值，这样就把全景图像拼接的必要条件问题转化成了寻找最佳几何变换参数和关联矩阵的问题.对几何优化算法的研究，文献[13]提出的基于李群代数的二阶最小化方法，用黎曼指数映射替代李群指数映射，可以在内蕴几何优化的框架下找回被高斯-牛顿迭代算法遗弃的赫森矩阵信息，从而提高了拼接的精确度，但是该传统的基于指数映射的几何优化算法对图像边缘特征点的区分度较差，对环境光照、自遮挡及曝光条件依然敏感，计算过程复杂且耗时，易造成误匹配，因此，需要对传统的基于指数映射的几何优化算法进行改进.

引入参数ω，t是矩阵李群M上的一点，若 Si和Oi中已包含纹理图像，x是t邻域内一点，对于边缘特征点中的兴趣点，直接提取它们并转换成灰度图像，S=(S1, S2,…,Sn)是待配准的n幅深度图像的输入序列；若Si和Oi中不包含纹理图像，在边缘特征点中对应的点不存在，则删除该点，并根据深度图像，生成纹理图像点.因此结合1.1中的图像边缘特征点配准方法D(u, v)，对传统的基于指数映射的几何优化算法进行改进的公式可具体表示为式（2）：

与传统的基于指数映射的几何优化算法相比，由于各种原因，对于输入的深度图像，式（2）具有先对所有相邻的两幅图像做配准的功能，并且子图块最后计算的灰度相关系数小于1.这样就可以将整个扫描序列集中分布在某一区域，将待拼接的图像边缘特征点分成与合并为若干个条带，最终生成一个完整的模型，在同一条带中的深度图像之间不再做配准，因此显著地减小了配准过程的时间.

1.3 图像边缘特征点空间坐标变换

大多数配准方法都是基于局部几何坐标优化框架匹配的，低维特征的计算速度相对较快，但所蕴含的信息量少，图像中存在噪声和几何缺陷[11].另外，为了减少因局部图像拼接错误或误差而造成的全局图像拼接错误和积累误差，许多方法采用图像边缘特征点空间坐标拼接模型，以形成全局一致的全景图像[10].因此，在进行全景图像拼接时不仅需要考虑图像边缘特征点的几何坐标优化框架，还需要变换图像边缘特征点的空间坐标.

引进目标转换函数μ和黎曼指数映射[13]把任意一个空间坐标(Vx, Vy, Vz,ω)变换到球面坐标(Vδ, Vφ, Vh,ω).目标转换函数μ是一个被定义为对于任意特征点(Vx, Vy, Vz)、以波长Ρ、任意视角(θ-κ)、任意时间t、任意时差ω通过该视角的灰度属性的8维函数：

引进函数μ的作用：流形坐标分辨率、灰度属性、光线强度、比例尺非线性变形（平移、缩放和旋转等）等方面的差别消除在于寻求适当的坐标变换函数或映射公式，求解4个坐标分量Vδ,Vφ, Vh,ω的方程式，从而使空间坐标(Vx, Vy, Vz,ω)与参考坐标(Vδ,Vφ, Vh,ω)精确匹配.

黎曼指数映射[13]，针对李群指数映射的每一点切空间的光强差异，通过嘉当分解和嘉当对合赋予一个内积所建立的全局映射公式，可以按照普通意义上的矩阵指数对流形坐标的差别进行融合，避免计算烦琐的赫森矩阵[13]，从而获得高效坐标转换效果.但是黎曼指数映射是仅利用一种模型对各种边缘特征点提取模式进行建模，需进行插值和滤波等限制配准精度的操作，动态场景检测功能不足，不能对图像中重要的结构信息进行显式建模.由于图像表观通常是物体边界、线条等结构基元和纹理基元，因此可以通过切空间的内积、嘉当分解和嘉当对合[13]来求解图像边缘特征点的空间坐标.为此，需要对传统的黎曼指数映射进行改进，即提出一个专门优化图像边界、线条、纹理的检测性空间坐标指数映射公式.

设I(Vx, Vy, Vz,ω)是t时刻的坐标点，I′是对坐标的偏导数，下一个坐标点通过对图像边缘

特征点作细微的操作导出，行列式元素为1的n阶实李群矩阵为SL(n, R)，矩阵指数为exp(A)=，矩阵李群的每一边缘特征点的切空间的内积为＜A, B＞=＜ABt＞.若∀r∈SL(n, R)，其相应的嘉当分解为嘉当对合为r=r→-rt，并且坐标之间满足关系I(Vx+Δx, Vy+Δy, Vz+Δz,ω)=I(Vx, Vy, Vz,ω)，则结合1.1节图像边缘特征点检测方法和1.2节图像边缘特征点几何坐标优化框架，图像边缘特征点空间坐标的指数映射公式可按式（4）进行改进：

式（4）的贡献：由于各边缘特征点的构成维度与流形结构不同，在R(t, r, A, B)连续迭代处理过程中，位置信息、流形坐标分辨率、灰度属性、光线强度、比例尺非线性变形都是不断变化的，因此，需通过实李群矩阵SL(n, R)、矩阵指数exp(A)、切空间的内积＜A, B＞、嘉当分解及嘉当对合的综合作用对位置信息进行初步匹配更新，在当前迭代的R(t, r, A, B)上寻找一个具有最大检测率（即李群指数映射的光强差异率）的求解空间坐标(Vx, Vy, Vz,ω).如果新的位置信息中最大检测率优于历史最大检测率，即针对更复杂的位置信息样本，则用新的位置信息的最大检测率替代全局历史最大检测率.相比改进前，式（4）使那些被错误匹配的边界、线条、纹理基元等边缘特征点得到进一步的匹配，从而提高了匹配的精度，有效保证了结果的即时性和正确性，减少了插值和滤波操作，支持多种模型对各种边缘特征点模式进行建模.

1.4 图像边缘特征点最优投影变换参数的求解

在实际应用场合中，待配准图像与参考图像之间可能存在刚体、仿射、投影和非线性等变换类型.因为图像边缘特征点是无限多的，如果变换后第一幅图像上的直线映射到第二幅图像上仍为直线，但平行关系基本不保持，这样的变换称为投影变换.由投影理论可知，同一物体在不同角度的影像存在空间关系的区别和相邻图像之间的光强差异的问题，投影变换关键在于求解投影变换参数.当获取最优投影变换时，模板图像和变形图像的梯度应该非常接近.下面给出求解图像边缘特征点最优投影变换参数的方法.

给定待配准图像 I1(x, y)和 I2(x, y)，s是三维空间坐标变换，h是二维的灰度变换，则双重映射变换可表示为I2(x, y)=h(I1(s(x, y ))).利用这个信息既可以避免复杂的赫森矩阵的计算，又可通过在最优变换处的雅可比一阶泰勒展开得到被高斯牛顿迭代遗弃的赫森矩阵信息，从而获得高效算法[13].

假设L、M、N分别表示缩放、旋转、平移，则对应的图像边缘特征点最优投影变换参数由8个参数l11,l12,l21,l22,m1,m2,n1, n2来决定：

其中，

对于参数l11,l12,l21,l22,m1,m2,n1, n2的求解,可以用下面的步骤来实现.

若对G(x, y)中任意一点(x, y)通过缩放变换变为(x′, y′)，则可表示为：

(x′, y′)可以表示成l11,l12,l21,l22,m1,m2,n1, n2的可逆边缘特征点，进而可以求得l11,l12,l21, l22,m1, m2,n1, n2的值.

1.5 图像边缘特征点融合

由于光照条件的变化特性、几何变形、自动相机、扫描设备的问题，任何两幅相邻原始图像在采集条件上、图像特性提取上及图像经过投影变换后都不可能做到完全相同.从一幅图像的区域过渡到另一幅图像时，若简单地把两幅图像拼接起来，对齐的图像可能存在亮度或颜色不连续现象和几何校正引起的缝隙，完成配准后，拼接处会有一条明显的缝隙.

为实现图像的无缝拼接，可通过图像边缘特征点融合来减小或消除拼缝，保证重叠区域能够连续,并且没有可见的缝合线.如何处理图像整合过程中无法解决的拼接缝隙问题，实现真正意义上的无缝拼接，正是图像融合过程中所要解决的问题.关于融合方法的研究很多，例如文献[1]采用复用金字塔的多分辨率图像融合方法，选择最大值的边缘Gauss金字塔，最后反变换到融合图像；文献[2]采用改进的基于特征点的图像拼接融合算法将两幅图像重叠区域划分为两部分，每部分来自不同的图像，很好地解决了合成鬼影问题；文献[10]提出显微图像重叠区域平滑过渡的方法，使重叠区域过渡更加平滑，视觉效果更好.但是以上这些传统的图像融合方法往往会因为光线明暗不均，使拼接后重叠处的拼接痕迹明显.为了提高拼接效果，需要在多幅图像的边缘重叠处进行平滑处理，因此需要对传统的图像融合方法进行改进.

设m(x, y)为输入图像的插值结果图，整体图像中某边缘特征点与n幅图像相交，边缘特征点(x, y)的像素值为 z(x, y)，第i幅图像与该位置重合边缘特征点的颜色值为Ci(r, g, b)，且在该幅图像中对应的权值为ωi， I(i, j)为输入原始图，按照8参数投影变换模型，对于输入图像中的一点(x, y)，可经变换得到新的位置变换点(x′, y′)， k(x, y)为插值运算核，输出整数网格上的边缘特征点(x′, y′).结合第1.1节、1.2节和1.3节的内容，输入图像中原始边缘特征点融合处理的方法可以改进为式（7）：

相比改进前，式（7）考虑到曝光差异所引起的空间边缘特征点在不同图像间的亮度差，通过二者误差度量函数的加权函数来度量相似度，所以算法在一定程度上消除了拼痕，平滑了亮度差异，减少了鬼影出现的概率，鲁棒性较强，提高了配准精度和效率.

2 基于边缘特征点的全景图像拼接算法

基于边缘特征点的全景图像拼接算法的主要设计步骤如下：

第1步：生成边缘特征点集Si=｛1,2,…,n｝和Oi=｛1,2,…,n｝，计算边缘特征点 u, v在树T中的最短路径Si(u, v)；

第2步：利用关键点邻域像素的梯度方向分布特性为每个关键边缘特征点指定方向参数，从而使描述子对图像旋转具有不变性；

第3步：利用配准图像u与参考图像v之间的边缘特征点配准的改进公式（1）分别提取两幅图像的边缘特征点，并确定关键边缘特征点所在位置和尺度.逐步将多对多的不确定匹配降为一对一配准，对光照变化、仿射投影变换进行计算；

第4步：通过指数映射算法将空间几何坐标(Vx, Vy, Vz)变换到球面坐标(Vδ, Vφ, Vh)，建立变换函数或映射公式；

第5步：利用改进的基于指数映射的几何优化算法公式（2）进行图像边缘特征点在尺度空间上的极值检测，将待拼接的图像边缘特征点分成与合并为若干个条带，最终生成一个完整的模型；

第6步：将整个扫描序列集中分布在某一区域，提取它们并转换成灰度图像，输入n幅深度图像S=(S1, S2,…,Sn)作为输入序列，分别计算同一窗口的活跃级度量，比较窗口的活跃级度量的大小；

第7步：求解目标转换函数μ，消除流形坐标分辨率、灰度属性、光线强度、比例尺非线性变形等方面的差别，求解4个坐标分量Vδ,Vφ, Vh,ω的方程式；

第8步：利用改进的图像边缘特征点空间坐标的指数映射公式（4）寻找图像边缘中的边缘特征配准点，找出错误匹配的边界、线条、纹理基元等边缘特征点；

第9步：计算矩阵李群的每一边缘特征点的切空间的内积＜A, B＞=＜ABt＞，并计算相应的嘉当分解，嘉当对合r=r→-rt；

第10步：利用式（5）求解图像边缘特征点最优投影变换参数，从不同角度消除相邻图像之间的光强差异，并去除低对比度的关键边缘特征点和不稳定的边缘特征响应点；

第11步：计算表示缩放、旋转、平移的8个参数l11,l12,l21,l22,m1, m2,n1, n2.依据经验值设定阈值θ=0.1，循环计算得到l11,l12,l21,l22,m1,m2,n1, n2的值，由此计算出邻域内的边缘特征点对集，作为预选出的待匹配点,并删除在邻域外的边缘特征点对集；

第12步：生成边缘特征点向量，按最邻近距离比准则完成匹配，对得到的匹配边缘特征点对计算互相关值，剔除相关值最小的匹配对；

第13步：利用式（7）改进的图像中原始边缘特征点的融合平滑处理方法对最后得到的匹配点对参数进行估计，通过二者误差度量函数的加权函数来度量相似度，消除拼痕.

算法结束.

3 应用实验

测试效果评价指标主要包括运算时间、计算量、重配率、丢失率、精确度.运算时间以算法运行时所耗费的整体时间来衡量，其单位是秒，运算时间越短，表示速度越快，所耗费的整体时间越短，其参考值在区间[9.0, 10.0]时可以认为算法到达了预期的效果.计算量一般是指对复用时的元素属性及其之间的关系等方面的关联描述，当其值达到“较低”时，可以认为算法反映自适应性的能力较强；重配率在0.40以上时，表示算法的误配率较大.丢失率是指图像边缘特征点的丢失情况，其值在区间[0.00，0.30]时，即可认为系统的复用效果好.精确度是指系统的精确程度，其值在区间[0.90，1.00]时，即可认为系统的精确程度较高.

实验所需各种原始图均来自于高分辨率数码相机旋转拍摄（如图2所示），用VC＋＋6.0实现一个全景图像拼接程序.

图2 实验原始图

为了验证PMABTEFP的有效性、稳定性、兼容性和可伸缩性，本章进行应用实验，需要实施几个局部实验与全局实验.

分别按基于边缘特征点的多分辨率图像拼接方法MSIMUFE（Multi scale image mosaic using features from edge）[1]、基于黎曼二阶最小化的投影图像配准算法PIRBRSOM（Projective image registration based on Riemannian second- order minimization）[13]、基于最小路由代价树的大规模显微图像拼接方法MLSMIMBMRCS（Method for large scale microscope images mosaicing based on minimum routing cost spanning tree）[10]等传统算法和本文所提出的PMABTEFP法对图2进行拼接实验.实验时需要重点反映与刻画式（1）、式（2）、式（4）和式（7），以上各方法对图2的拼接效果分别如图3、图4、图5、图6所示.

图3 MSIMUFE拼接效果图

图4 PIRBRSOM拼接效果图

图5 MLSMIMBMRCS拼接效果图

图6 PMABTEFP拼接效果图

实验结果发现，图3、图4、图5所示图像均存在曝光度、亮度、对比度方面的缺点，有鬼影和锯齿现象，而图6曝光度、亮度、对比度和原始图相差不大，并且没有明显的鬼影和锯齿现象.具体的实验结果如表1所示.

从表1可以看出，传统算法的计算量较高，而PMABTEFP可以达到较低的程度，表明算法比较灵活.另外在运算时间、重配率、精确度、丢失率等方面，PMABTEFP算法也比传统方法有更好的效果，表明改进后的算法在拼接方面具有明显的优势.

表1 各种算法综合性能对比

为了进一步表明PMABTEFP的优势，仍然以图2所示的4张实验原始图为输入图像，再按PMABTEFP设计系统.实验时不仅需要重点反映与刻画图像边缘特征点配准公式改进后、图像边缘特征点几何坐标优化公式改进后、图像边缘特征点空间坐标变换公式改进后、图像边缘特征点最优投影变换参数求解公式改进后、图像边缘特征点融合公式改进后系统性能的变化，而且需要综合描述PMABTEFP的设计过程，并和改进前的各种算法的指标和运行效果进行对比（具体结果仍见表1）.可以看出，改进前的图像边缘特征点配准公式、图像边缘特征点几何坐标优化公式、图像边缘特征点空间坐标变换公式、图像边缘特征点最优投影变换参数求解公式、图像边缘特征点融合公式均存在一些漏洞，而PMABTEFP修补了一些漏洞，其各项指标均达到了要求，这表明改进工作是有效的.

为保证PMABTEFP复用时的稳定性和复用性，最后再从全局角度对PMABTEFP进行实验.实验结果是：PMABTEFP运算时间的值恰好落在区间[9，10]，精确度的值恰好落在区间[0.90，1.00]，边缘特征点检测及匹配误差均控制在可以接受的范围内，这是满足系统要求的，因而PMABTEFP的复用效果比较好.

从多次实验果可以看出，改进后的算法不受坐标变换影响，配准时间和运算速度得到了一些改善，而且计算量不大（仅对边缘量最大值点作用），较好地排除了一些邻域边缘量很小的点和孤立边缘点，提取到的图像特征点较为合适（基本包括了重要的特征信息），特征点丢失率得到一定程度的降低，精确度也相应得到了一定的提高.因此，PMABTEFP具有一定的实用价值.

4 结 语

图像配准与图像融合是影响全景图像拼接算法成功率、运行速度和整个图像拼接效果的核心因素，基于特征的全景图像拼接方法已成为一项较为典型、实用的技术.本文对基于边缘特征点的全景图像拼接算法进行了研究，所给算法在运算时间、计算量、重配率、精确度、丢失率等方面均有较好的效果，适用性较强.但全景图像拼接技术实际上是一个具有很大挑战性的研究课题，对其研究往往会受到硬件、软件等诸多因素的限制.因此，本文所做的工作也仅仅是为全景图拼接技术的研究提供了一些参考方法，还有许多方面需要进一步探讨.

[1] 曹世翔, 江洁, 张广军, 等. 边缘特征点的多分辨率图像拼接[J]. 计算机研究与发展, 2011, 48(9): 1788-1792.

[2] 宗岩, 王阳萍, 刘萍. 改进的基于特征点的图像拼接融合算法[J]. 兰州交通大学学报, 2012, 31(1): 89-92.

[3] Brown M, Lowe D G. Automatic panoramic image stitching using in variant features [J]. International Journal ofComputer Vision, 2013, 74(1): 59-73.

[4] Gal R, Cohen O D. Salient geometric features for partial shape matching and similarity [J]. ACM Transactions on Graphics, 2013: 25(1):130-150.

[5] Wang S, Wang Y, Jin M, et al. Conformal geometry and its applications on 3D shape matching, recognition, and stitching [J]. IEEE Trans Pattern Anal Mach Intell, 2007, 29(7): 1209-1220.

[6] Nakajima N, Iketani A, Sato T, et al. Video mosaicing for document imaging [EB/OL]. [2015-01-08]. http://www. researchgate.net/publication/228627067_Video_mosaicing_for_document_imaging.

[7] Richmond K. Real-time visual mosaicking and navigation on the sea floor [D]. Stamford: Computer Information College, Stanford University, 2009: 123-127.

[8] Fang X, Luo B, Zhao H, et al. New multi-resolution image stitching with local and global alignment [J].IET Computer Vision, 2010, 4(4): 882-887.

[9] 曾丹, 陈剑, 张琦, 等. 基于全局拓扑结构的分级三角剖分图像拼接[J]. 计算机研究与发展, 2012, 49(1): 144-150.

[10] 龚咏喜, 田原, 谢玉波, 等. 基于最小路由代价树的大规模显微图像拼接方法[J]. 中国图象图形学报, 2009, 14(6): 1178-1186.

[11] 杨芩, 齐越, 沈旭昆, 等. 一种快速的三维扫描数据自动配准方法[J]. 软件学报, 2010, 21(6): 1438-1450.

[12] Bay H, Ess A, Tuytelaars T, et a1. Speeded-up robust features [J]. Computer Vision and Image understanding, 2008, 110(3): 346-359.

[13] 李广伟, 刘云鹏, 尹健. 基于黎曼二阶最小化的投影图像配准算法[J]. 仪器仪表学报, 2010, 31(6): 1323-1328.

Panoramic Image Mosaic Algorithm Based on Edge Feature Points

WAN Nianhong, WANG Xuerong (Department of Engineering Technology, Zhejiang Dongfang Vocational and Technical College,
Wenzhou, China 325011)

It is known to all that the panorama mosaic technology has become a research hotspot in the field of the image processing. The traditional panorama mosaic methods based on features have disadvantages for twist and rotation to big influence on the matching result, so that the mosaic quality is not high apparently. To improve and enhance the patchwork effect and divergence, firstly, the research is done on the solution and fusion of the image edge feature point registration, geometric coordinate optimization, space coordinate transformation, optimal projection transformation. Then, a type of panoramic image mosaic based on its improved related algorithm is put forward and put into the application experiment. It turns out that the proposed algorithm is much better in patchwork effect and practical value than the traditional algorithm.

Panoramic Image Mosaic; Edge Feature Points; Image Registration; Geometric Coordinate Optimization; Optimal Projection Transformation; Image Fusion

T391

A

1674-3563(2016)01-0042-10

10.3875/j.issn.1674-3563.2016.01.006 本文的PDF文件可以从xuebao.wzu.edu.cn获得

(编辑：王一芳)

2015-03-27

万年红(1977- )，男，江西新建人，副教授，硕士，研究方向：计算机软件与理论