孟淑英

(神华地质勘查有限责任公司，北京100085)

一、引 言

无人机视频影像实时拼接是近年来无人机遥感领域的热点研究问题［1］。由于受野外作业条件等限制，视频影像处理的计算机大多为普通笔记本电脑，处理能力有限。因此，无人机视频影像实时无缝拼接的算法应该具备两个条件：一是算法复杂度低;二是色差小且无明显拼接痕迹。

最佳拼接线的检测一直是影像拼接研究领域的一个关键技术［1-2］，近年来也取得了较多研究成果。James Davis利用 Dijkstra算法检测了拼接线［3］;方贤勇等提出动态规划的思想寻找最佳拼接线［2］;方亚玲等引入对称动态轮廓模型，对影像的轮廓线进行选取与迭代来寻找最优拼接线［4］;张剑清等提出蚁群算法的镶嵌线自动选择方法，可使镶嵌线避开房屋、树木等高出地面的地物［3］;潘俊等提出接缝线网络的自动生成及优化方法，并且提出无缝拼接的数据结构组织方法［5］。目前，影像拼接和镶嵌系统商业软件普遍采用重叠区域平分线法、梯度差异法、地类边界法和最小灰度差值法等方法来选择拼接线(如ERDAS系统采用重叠区域平分线法)。这些方法对两幅影像本身像点位移小、灰度值差异小等情况下的拼接处理具有一定效果。

但是无人机影像是中心投影的影像，存在因地形起伏、摄影面倾斜等引起的像点位移，再加上曝光时间长短和拍摄角度差异等问题，从而造成相拼接的两张影像存在着或多或少的几何位置与光谱信息等差异，利用上述商业软件采用的方法很难得到满意的影像拼接效果。为此，本文基于灰色关联度与影像直方图匹配等技术建立了自动检测拼接线方法，比较适用于无人机视频影像的实时、快速拼接，且在低配电脑和野外情况下更有优势。

二、算法介绍

1.算法思想

最佳的拼接线在两景影像重叠区域应在几何位置和亮度上具有较大的相似性。灰色关联度检测的基本思想是根据重叠区域灰度值之差的大小作为判断其联系是否紧密的依据。本文基于灰色关联分析对灰度影像进行最佳镶嵌线的自动检测，该算法以两幅RGB彩色原影像为例，利用灰色分析理论检测出来的拼接线，能够达到较为理想的效果。

直方图规定化是指给定一幅图像的灰度均值和方差，以此灰度均值和方差来规定待处理图像灰度均值和方差［6］。本文选择一幅飞行姿态平稳的影像作为标准(基准)影像，将其他影像的灰度值进行直方图匹配［7］，相同地物的灰度均值和方差一致，对拼接的重叠部分的灰度值进行进一步处理，即按行在重叠区内对待拼影像灰度值按距离进行加权平滑，在一定程度上减小影像之间的反差，使影像接缝处灰度差异显著性减小。

2.算法设计

从无人机视频影像提取的影像帧，是由红色(R)、绿色(G)、蓝色(B)3个通道构成的RGB彩色空间影像。按照一定的配比关系，可以将RGB彩色空间转换成一个灰度波段，公式如下

式中，f为变换的灰度值结果;r、g、b分别表示R、G、B 通道的灰度值;p1、p2、p3分别是 R、G、B 波段的权值，且需要满足下式

取 p1=0.3，p2=0.59，p3=0.11。

检测最佳拼接线时，考虑到一个像素受到其邻近像元的辐射影响，因此在两幅影像的重叠区域上开一个m×m的模板，如3×3、5×5等。模板在重叠区域里面逐行扫描，对两个模板对应的m×m像元灰度值进行离差平方和。离差平方和越小，表明两幅影像差异越小;离差平方和越大，差异越大。以滑动的模板在重叠区域内部寻找每行(列)差异值最小的模板，该模板中心所在的位置即为最优拼接线的位置。按照这样的方式将每一行(列)的点连接起来，即组成最佳拼接线。

这种判断方法难免会出现上下行(左右列)拼接点位置差异较远的现象。因此，引入一个阀值T，规定拼接线相邻两点的距离必须小于或者等于这个阀值，使拼接线具有较好的连贯性和连续性。

三、算法实现技术流程

本文对两张影像的拼接线的检测主要分为以下几个步骤，流程如图1所示。

图1 无人机影像最优拼接线检测流程

1)以一张影像为基准，对另一张影像进行直方图规定化。使两幅影像的R、G、B 3个通道的灰度的均值和方差一致，减小两张影像的颜色和灰度反差。

2)将两张RGB影像进行灰度化，参见式(1)。

3)计算两张影像重叠情况，寻找拼接线的基准线。基准线可以理解成两幅影像的分界线，如图2中的虚线。无人机飞行高度范围属于对流层，空气气流对无人机飞行的影响较大，会对无人机的飞行高度和飞行姿态产生影响，从而对拍摄的影像产生影响。对实际飞行采集的视频影像进行拼接，发现两张影像重叠主要有图2所示的几种情况。正常情况下，无人机飞行平稳，两幅影像有旋转和平移关系，如图2(a)所示;飞行高度突然发生变化，比例关系发生变化时，如图2(b)所示;航向倾角发生突变时，如图2(c)所示;无人机航向发生变化时，如图2(d)所示。确定影像的重叠区域情况后，针对不同情形，寻找其相应的起始点作为影像拼接线的起始点，图中虚线的两端就是拼接线的起始点。

图2 无人机影像重叠情况

4)在拼接基准线附近检测最佳拼接线。本文计算3×3的两幅影像的模板的离差平方和，且模板不能跳出重叠区域。在拼接基准线附近寻找最佳拼接线，可以达到满意的效果。如图3所示，灰色代表重叠区的拼接基准线，给定一个距离阀值T，模板在基准线上下距离T以内移动，选择具有最小离差平方和的像素点为最佳拼接线，将这些点排列起来就形成了最佳拼接线，图中用深灰色表示。

图3 寻找最佳拼接线

图4 原始影像A

图5 原始影像B

图6 拼接结果(未经过直方图规定化)

图7 拼接结果(经过直方图规定化)

四、拼接线检测试验及结果

为了验证该方法的有效性和可行性，对无人机视频影像作了拼接试验。图4和图5中，原始影像A和B具有一定的灰度值差异，以影像A为基准，对影像B作直方图规定化，使影像B的R、G、B 3个通道的灰度值的均值和方差与影像A的R、G、B 3个通道的灰度值的均值和方差一致。图6是影像A和影像B没有经过直方图规定化拼接的效果图，拼接中发现有明显的接缝痕迹;图7是经过直方图规定化拼接的效果图，拼接线痕迹不明显。因此，文中提出的方法和流程具有有效性和实用性。

五、结束语

利用本文提出的基于灰色关联度自动检测拼接线与影像直方图规定化的影像拼接方法，在配有单核、2 GB内存、XP操作系统的普通笔记本电脑上，两幅382像素×256像素的视频影像拼接测试时间为328 ms，完全能够满足无人机视频影像实时拼接的需求。试验表明，利用这种组合方法能够使两幅存在颜色和亮度差异的影像，在接缝处达到过渡自然的效果，该算法简单、实用、可靠。

［1］韩杰，王争.无人机遥感国土资源快速监察系统关键技术研究［J］.测绘通报，2008(2)：4-6，15.

［2］朱述龙，钱曾波.遥感影像镶嵌时拼接缝的消除方法［J］.遥感学报，2002，6(3)：183-187.

［3］DAVISJ.Mosaics of Scenes with Moving Objects［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］：IEEE Computer Society，1998：354-360.

［4］周廷刚.遥感彩色影像镶嵌拼接缝的消除方法研究［J］.计算机工程与应用，2004，40(36)：84-86.

［5］方贤勇，潘志庚，徐丹.图像拼接的改进算法［J］.计算机辅助设计与图形学学报，2003，15(11)：1362-1365.

［6］方亚玲，焦伟利.利用对称动态轮廓模型自动检测图像最优镶嵌线［J］.科学技术与工程，2007，7(14)：3451-3456.

［7］张剑清，孙明伟，张祖勋.基于蚁群算法的正射影像镶嵌线自动选择［J］.武汉大学学报：信息科学版，2009，34(6)：675-678.

［8］潘俊，王密，李德仁.接缝线网络的自动生成及优化方法［J］.测绘学报，2010，39(3)：289-294.

［9］田杨.精确直方图规定化［D］.济南：山东大学，2008.

［10］张兆礼，赵春晖，梅晓丹.现代图像处理技术［M］.北京：人民邮电出版社，2001：126-132.