覃江颖，明飞雄，李 明

（1.武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079；2.自然资源部重庆测绘院，重庆 400015）

当前，无人机图像配准有很多成熟可靠的方法。在理想情况下，这些方法可以实现亚像素图像配准。在这种好的情况下，大多数拼接方法都可以达到出色的图像拼接效果。但是，由于外部不利因素的影响，特别是低空无人机两张或多张图像难以完全自动配准。因此，需要在图像镶嵌阶段进行补救，也就是说，要确定如何无缝生成最终的拼接图像，需要使用一些技术来使最终的拼接图像没有拼接缝、重影等拼接痕迹。本文主要针对这一环节，进行了图像拼接的相关算法和技术的分析与研究。目前，该研究领域主要有2 种解决方案，它们是基于像素的图像拼接方法和基于拼接线的图像拼接方法[1-3]。前者是图像配准后两幅图像重叠区域像素的混叠和相加（最简单的方法是获取重叠区域中对应图像像素的平均值。然而，简单的像素值平均方法容易受到多种因素的影响，例如曝光差异、匹配误差和场景运动。大量参考文献涉及了这些问题，例如，中值滤波用于去除运动物体，像素加权平均用于处理图像中心和边缘附近的像素，以避免图像色差的影响[1-4]。然而，这些改进的方法往往会导致拼接图像出现模糊和重影问题，使加权平均法的权重系数难以掌握）。后者是基于拼接线的图像拼接方法（首先构建能量代价函数模型，然后计算能量代价函数的最小值。在相邻图像的重叠区域中寻找最优的拼接线，并且该拼接线处于两幅图像完全配准的位置。最优拼接线将重叠区域分成两部分，确定不同区域填充像素的来源。这条线两侧的图像差异极少，从而可以有效避免锯齿、重影和错位等问题，实现拼接图像的无缝过渡）。目前商业软件中主要使用的是第二种策略。基于动态规划的优化理论提出了一种非常有代表性和简单的动态规划方法，用于搜索最佳拼接线。在该策略中，无论过程的初始状态和最后一个决策如何，下一个状态或决策必须是最优的。因此，将动态规划的思想应用到拼接线的搜索中，就是将拼接线在重叠区域的分布作为一个优化问题。而将一维动态规划搜索问题扩展到双通道搜索，并引入光流场来增强图像几何信息能优化拼接线搜索约束。但是基于动态规划的搜索过程很容易陷入局部最优解，在调整系数和邻域范围的选择上存在不确定因素。由于使用动态规划来获得局部最优拼接线并不能达到最优的效果，因此许多研究人员研究了如何使用新的搜索策略来获得全局最优拼接线。近年来，已经出现了一些算法来很好地实现这一目的。其中，基于图割（Graph Cuts）的最优拼接线搜索算法是最具代表性的一种[5]。它通过在拼接线两侧寻找最优拼接纹理来合成最佳拼接线，可以解决动态规划在图像拼接中的弊端。

基于上述内容，本文针对低空无人机图像无缝拼接中存在的问题，首先介绍和分析了当前多种图像拼接策略中的图像拼接方法。接着在图像配准的基础上，通过引入图像的全局光流场，增强图像中几何结构信息的约束，并提出了一种新的基于图像颜色域的图割能量代价函数模型，实现了在相邻图像重叠区域中寻找最佳拼接线的算法。

1 拼接图像配准

实验无人机图像已经进行了预处理，且使用了更加高效的SURF算子进行图像配准，在SURF算法的计算中，为了进一步提高其计算速度，并保持其精度，本文采用了Hessian 矩阵的匹配加速方法。另外，通过基于投影变换模型的RANSAC算法对最近邻匹配算法得到的误配点进行剔除，提高了特征匹配的鲁棒性[6-7]。通过以上处理，完成无人机图像配准后，可以将所有待拼接的图像转换为统一的坐标系，然后选择合适的投影模型进行图像拼接。

2 基于图割的经典拼接方法

在著名的开源计算机视觉算法库（OpenCV）中，基于图割的代表性经典拼接线搜索方法主要分为两种：一种是利用颜色域像素的差异信息构建图割能量代价函数；另一种是在前一种方法的基础上，加入梯度信息的约束，同时考虑色彩强度和梯度强度等信息。从以往文献的回顾和讨论来看，现有的无人机图像拼接方法在算法有效性和效率上都有提升的空间。同时，由于OpenCV 是一个非常通用且具有代表性的最新计算机视觉图像处理集成函数库，因此，本文将使用OpenCV 中这2 种具有代表性的基于图割的最优拼接线搜索方法作为对比实验方法来评估本文提出的策略的有效性和效率。

3 具有光流场全局约束的图割拼接方法

通常情况下，相邻的无人机图像会具有相同的局部信息，例如相同风格的建筑物，但相邻图像的尺度信息可能并不完全相同。同时，不同无人机图像的视角也会存在差异。如果不考虑图像信息中的上述情况，很可能会出现几何错位或由于拼接图像中的遮挡而丢失建筑物信息。由于很多拼接方法仍然依靠局部信息来求解目标能量代价函数的伪全局解，因此它们实质上忽略了图像拼接问题本身在数学建模过程中的不准确性，导致创建的目标能量代价函数不能完全表达需要解决的问题。对此，本文在现有方法的基础上，设计了一种具有更全面的全局约束的无人机图像拼接方法。新方法在现有Graph Cuts方法的基础上引入了全局光流场的概念，以约束由于透视成像、几何畸变，特别是建筑物引起的投影误差等引起的像素几何错位，实现无人机图像无缝拼接。

3.1 光流场

本文为了更好地考虑相邻低空无人机图像重叠区域的图像结构信息，将重叠区域像素的光流值作为构建拼接线能量代价的约束条件。光流是由观察者和场景之间的相对运动引起的视觉场景中物体、表面和边缘的表观运动模式。Lucas-Kanade 算法和Horn-Schunk 算法是2 种具有代表性的计算方法，它们分别用于计算图像部分像素的运动（称为稀疏光流）和图像所有像素的运动（称为密集光流）[8-9]。本文构建的能量代价函数需要相邻无人机图像重叠区域内每个像素点的光流值。因此，使用密集光流方法来计算它们。Horn 和Schunck 提出的Horn-Schunk 算法是一种非常流行的密集光流方法，易于计算。它可以获得重叠区域中每个像素的光流值。公式（1）是其函数表达。

式中，F为光流值；u、v为像素在图像坐标系x、y轴方向的位移；T为参考图像；I为当前图像；a为权重因子；ux、vx、uy、vy分别为u和v在x和y方向上的一阶导数。

3.2 图像重叠区域图的构建

图是具有权重的有向结构，通常由一些节点和有向边表示。在本文中，这些节点是图像像素。图是现实世界的直观表示，它由一个节点集和在一定规则下连接两个节点的边集组成，即源和汇2个位于端点的特殊节点。在图像处理应用中，许多能量最小化问题可以通过求解图中的最大流最小切割问题来近似。将在2 幅无人机图像的重叠区域中寻找最优接缝线的问题转化为图割能量代价函数的最小能量求解问题。由于图割的最优拼接线搜索算法是基于图结构的。因此，在寻找拼接线之前，需要将图像像素转换为图结构。在本文的无人机图像拼接算法中，相邻的无人机图像和图结构示意图如图1所示。图1a是无人机图像拼接的示意图，其中待拼接的右图像与坐标变换后的左图像的拼接线位于重叠区域。图1a中的红色实线是示例拼接线。根据图1a的这种布局，本文构造了一个图结构，图的一部分如图1b所示。假设左图像和右图像的重叠区域只有9个像素，重叠区域的每个像素都被视为图结构中的一个节点。然后，可以用图1b 中从1～9的9个圆来表示图中的9个节点，相邻的2个节点形成一条边，都有加权值。如图1b 中的绿线所示。非重叠区域的节点（即左图像和右图像的灰色部分）与重叠区域的节点之间也存在加权边缘，如图1b中的黑线所示。

图1 拼接示意图与图的结构

3.3 图割能量代价函数

综上所述，相邻两幅图像的重叠区域可以构造出一个图结构。在图结构中，最关键的部分是加权边的定义，它定义了能量代价函数的具体形式。图割的一般能量代价函数由数据项（data）和平滑项（smooth）组成，分别对应于图割切割中边的权重。其一般表达式如图（2）所示。

式（3）是本文提出的基于图割的能量代价函数定义。与上述其他能量函数相比，最大的差异是本文的能量代价函数添加了全局光流场。这样在现有的Graph Cuts 算法的基础上，可以更好地考虑几何信息约束，解决透视成像引起的图像拼接中的几何畸变问题等。

式中，V(*)为像素差异产生的灰度差异函数；flow(*)为相邻无人机图像重叠区域的光流场函数；D(*)为数据项；fp、fq为分配给像素p、q的标签；O为重叠区域中的相邻像素；P 为图像中的所有像素。像素灰度差异函数不仅需要反映相邻图像同一位置像素的差异信息，还需要引入局部信息增强算法的鲁棒性。结合本文图像拼接问题的特殊性，不宜在图的每个节点上加上个体差异数据项。同时，由于寻找拼接线的本质是图像固有属性的差异信息，而不是某个标签的直接概率问题。因此，本文算法的所有能量项都反映在图中相邻边的权重上。通过上面基于图割的能量代价函数的定义，一个真实的图像拼接线搜索问题已经用一个数学模型进行了表达。而能量函数值的最小化过程就是寻找最佳拼接线的过程。在具体求解过程中，本文使用最大流/最小割算法来求解能量代价函数的最小化问题。

4 实验结果和分析

为了验证提出的本文方法（方法c）的有效性，选取两组来自不同地点、不同飞行高度和相机的无人机航拍图像对进行测试。并将测试结果与前文提及的OpenCV 中的开源拼接线搜索方法进行比较。在比较方法中，一种是基于图割的颜色域图像拼接方法（方法a），另一种是基于图割的颜色域+梯度域图像拼接方法（方法b）。本文使用基于OpenCV 开源库的Visual C++对所提出的算法进行编程。实验计算机环境为Windows 7操作系统，32 GRAM，Intel Core 7（3.6 GHZ，四核）CPU。本文的实验数据分为2 组。分别是由DJ-Phantom4 标配相机在武汉大学停车场采集的飞行高度约为115 m 的影像对，和在中国嘉善县别墅区利用ILCE-QX1 相机飞行高度约150 m 获取的影像对。

图2 和图3 的a、b、c 分别是方法a、b、c 的实验结果。首先，从图2 的局部放大视图中可以很容易地发现，图2的椭圆框中，在图2a和2b中红色拼接线两侧有明显的道路标线和车位拼接错位，而图2c仅仅有轻微的车位错位。图3 中也可以轻易发现方法c 几乎不存在可见的道路错位，没有出现方法b 中的房屋结构信息丢失，同样也没有图3a 和3b 中绿地中的人行道消失。这表明本文提出的方法在实验中实现了无缝拼接，无论是在空旷的停车场，还是密集别墅区域的低空无人机图像中几乎都实现了无痕融合的拼接效果。

图2 停车场影像对拼接实验结果对比

图3 别墅区影像对拼接实验结果对比

评价图像拼接算法优劣，除了拼接效果外，拼接效率也很重要，特别是对于低空无人机图像拼接来说，我们不仅想要得到好的拼接质量，还希望能快速甚至实时处理。从表1统计的每种方法的计算时间可以看到本文算法的时间效率高出其他开源算法一个数量级以上，取得了令人满意的效率。

表1 三种方法的实验执行效率

5 结语

本文提出了一种新的无人机图像颜色域无缝拼接方法，并将其与OpenCV 中的其他种代表性的方法进行了实验比较。实验对比结果证明了所提方法在无缝拼接效果和时间效率方面的有效性和优越性。在本研究中，基于图割的最优拼接线搜索的研究是主要创新。图割是Boykov 提出的一系列能量优化理论。本文通过研究如何利用无人机图像构建图结构并定义图结构中边的权重，将最优拼接线的搜索问题转化为图割的能量最小化问题。同时，在基于图割的能量函数构建中，考虑到像素级差异信息在颜色域的限制，通过引入图像全局光流场信息，更加关注图像的几何结构信息在最优接缝线搜索中的影响。最终，提出并实现了一个更完整的具有全局约束的低空无人机图像拼接理论。