张绍荣 张闻宇 莫云 周巧文

1 桂林航天工业学院 电子信息与自动化学院，广西 桂林 541004；2 桂林电子科技大学 电子工程与自动化学院，广西 桂林 541004

为应对复杂的无人机任务和应用环境，机载导航系统的准确性和可靠性需更出色。在GPS失效、故障或复杂电子环境中GPS精度下降等情况下，基于视觉的景象匹配辅助返航系统就如同无人机的眼睛，在关键时刻指导无人机安全返航。传统的景象匹配技术，采用卫星图像作为基准图进行匹配，但这种基准图占用内存大，更新慢，分辨率有限，给无人机数据处理模块增加了很大的负担[1]。针对这种情况，设计了无基准图的返航方案，这属于一种无地图导航方法，即将飞行过程中的航拍视频利用起来，在其中选取地物特征明显，适合景象匹配的图像帧作为航路点，而后采用景象匹配技术在实时图中逐一寻找这些航路点，来完成原路安全返航。

国内外基于航路点的景象匹配导航方式主要是在基准图上人工选取航路点，通过航路点与实时图进行景象匹配的方式，引导无人机完成航路选择。李耀军等[2]从实时图序列中提取出含有自然地标的关键帧，通过与卫星基准图进行配准为关键帧定位，然后将实时图与关键帧进行景象匹配，得到其相对关键帧的位置，以此间接实现当前无人机在基准图上的精确定位。公续平等[3]提出了一种自动提取出航路点的方法，将基准图像分割成的小块图像作为航路点样本，每个样本的边缘、灰度和互相关信息组成特征向量，并基于支持向量机完成航路点的分类，优化和提取。但这些方法仍是以大幅基准图为基础做研究，没有脱离对基准图像的依赖。

为此，提出了一种基于模糊评价的航路点选取方法，其对航路点的提取方式完全基于视频序列图像，而非卫星基准图像。通过对大量视频帧进行聚类操作、选定适配航路点的特征指标、航路点适配能力评价这三步，完成对航拍视频中适配航路点的选取，并在最后进行仿真实验证明了算法的有效性。

1 视频帧的聚类

航拍视频的图像帧数量很大，若直接提取航路点，不仅运算复杂，还会出现提取的航路点多为相似帧的情况。为此，首先对视频帧进行聚类，再于每一类内进行后续操作。

1.1 颜色特征模型

HSV(H：色调，S：饱和度，V：亮度)颜色特征模型因与人类感知方式同步，所以更直观，更易应用于计算机视觉，因此选用HSV模型提取视频帧间的色彩信息。相机获取的图像为RGB(R:红色，G：绿色，B：蓝色)颜色特征模型，但是RGB颜色特征模型容易受光照变化影响[4]，因此要将RGB模型转换为HSV颜色特征模型[5]，转换公式[6]如下：

(1)

(2)

(3)

(4)

(5)

则

(6)

式中R,G,B∈[0，255]；H∈[0，360]；S,V∈[0，1]。

1.2 HSV模型的彩色直方图帧间聚类方法

经过上述转换，图像像素所包含的信息都可以用HSV三个分量来表示，为反映一幅图像与其他图像的差异，引入了彩色直方图的概念，统计单一分量中不同程度的像素与总像素数的比值，宏观上描述图像的颜色特性及分布。

上一节中的转换方法使得H、S、V三者的范围差距较大，直接生成直方图矢量的维数过多，运算量大大增加，因此，要根据人眼的感知习惯对HSV颜色特征进行非等间隔量化。将色调分成8类，饱和度分成3类，亮度分成3类，这样，HSV颜色空间划为72个子空间[7]，如下式：

(7)

(8)

(9)

根据人眼对颜色的敏感度，对H、S、V分别赋予不同的量化级数[8]，合成一维特征矢量L，如式(10)所示，其中，QS=3，QV=3。

L=QSQVH″+QVS″+V″。

(10)

分别统计出视频图像帧所有像素，以及它们分布在这72个子空间的像素数，获得视频帧的HSV颜色直方图。由于HSV权重为递减的设置，使得颜色分布情况凸现出来，削弱亮度和饱和度的影响，并且统计结果不受图像旋转、尺度等变化的影响，因此HSV十分适合做图像帧初级聚类。

得到所有视频帧的HSV颜色直方图后，本文计算它们的相关函数作为两个图像帧相似与否的依据，如式(11)所示，图像直方图越相关，表示图像相似度越高。

(11)

(12)

式中，H1，H2表示两幅图像直方图；D(H1,H2)表示直方图的相似度；N为直方图的条柄数目，为72。

在进行聚类操作时，设置帧间HSV直方图相似度阈值为P，以第一帧为比较标准帧，计算后续图像帧与其的直方图相似度，当相似度首次低于阈值P时，将比较标准帧至当前帧的前一帧归为一类，然后更新当前帧为比较标准帧，重复以上步骤，进行后续的直方图相似度计算，最终完成对整个视频所有图像帧的聚类工作。

2 航路点的特征指标

在景象匹配辅助返航技术中，匹配成功率往往依赖于图像所携带的信息量，图像中独特、稳定、有标志性的地貌景物越多，就越适合作为航路点实现匹配及导航。所建立的航路点自动选取机制依赖于计算机，如何让计算机像人类一样能判定一幅图像是否适合作为航路点，便需要从图像处理的角度引入一系列衡量图像适配性的特征指标。为此选取了三项特征指标来评价图像的适合导航能力，后续通过综合考量这三项特征指标以选取出优秀的航路点。

2.1 图像熵

图像熵源于信息论中信息熵的理论，是一种反映图像灰度的非均匀程度和复杂程度的统计量，能够一定程度的表示图像中信息的丰富性。一幅大小为M×N的图像，它的图像熵S为：

(13)

(14)

上式中，f(i,j)表示像素点(i,j)的灰度值。

2.2 拉普拉斯响应和

拉普拉斯算子表示梯度的散度，是n维Euclid空间中的二阶微分算子，如式(15)。根据图像处理的原理可知，在图像的水平、竖直两个方向上求导，计算拉普拉斯算子，能够使灰度变化快的区域凸显，变化慢的区域模糊，因此经过拉普拉斯变换后保留下来的特征可以视作图像中比较显著的特征[9]。

(15)

对于数字化的图像，单一像素点(x,y)处的拉普拉斯算子可进行差分近似：

(16)

将上式代入式(15)，得到：

(17)

为描述整幅图像的景象变化程度，本文在图像内，通过拉普拉斯运算扩展模板扫描各像素，计算其8邻域微分，并在整幅图像内对其绝对值求和，可以得到拉普拉斯响应和Lp，如式(18)所示：

(18)

对于一幅图像，若各像素周围的灰度变化小，则Lp值小；若图像轮廓明显，即使经过噪声平滑也不会消失，Lp的值就会显著增大。此外，拉普拉斯算子对细节有较强的响应，当灰度变化相差不大时，对点的响应强于对线的响应，对线的响应强于对梯度的响应，能够有效反映地貌景象的显著特征。

2.3 完整轮廓数

完整轮廓的数量可以表征景象信息的稳定性。首先，对图像进行二值化。一般将不感兴趣像素点的灰度值设为0，其余像素点的灰度值maxval设置为与0对比度较强的灰度值，如255，即黑色和白色。二值化公式如下：

(19)

然后，根据二值化的图像提取景象轮廓，提取轮廓时先检测出灰度突变的像素点，然后再将这些像素进行组合，形成完整的边界。二值化图像的灰度在两个值之间迅速变化，用一阶导数与阈值运算便可检测边缘。

最后，进行轮廓的跟踪和拟合。通过边缘提取得到轮廓是散乱无序的，这样的轮廓线占用内存大，而且不方便之后计算轮廓数。为此，采用轮廓跟踪将杂乱的边缘点转化为有序点列，进而用多边形进行拟合，显现出独立的轮廓。轮廓的拟合采用了动态二分法[10]。

3 基于模糊综合评价的航路点适配能力评定

在上一节中，选定了图像熵、拉普拉斯响应和、完整轮廓数作为评价视频帧是否适合做航路点的三项特征指标，接下来，要依据每一个候选航路点特征指标的表现，选出综合素质最优秀的作为航路点，为此，提出了基于模糊综合评价的航路点适配能力评定方法。

3.1 模糊综合评价

模糊综合评判属于模糊决策的一种，指当被评价事物具有模糊性时，综合考虑多种因素对其整体性进行评判。每帧图像是否适合做航路点是一个模糊的概念，没有明确的界限，因此应该给出适合做航路点的程度作为评价结果。对于通过HSV直方图进行聚类后的分组图像，该问题即演变成对每组内的图像进行适配性的排序，最后选择序列第一的图像作为航路点。

最简单的模糊综合评价方法是对每一项指标单独打分，再累加求总分的方法，然而单一特征指标获得的评价存在片面性，在不同的景象图像内可能存在较大差异，简单的累加特征指标的值，会使仅一个特征指标表现优秀的图像凸现出来，评价值难以被信任。此外，还有一种将每个指标乘以一定的权值，得到最后结果的加权平均法，在这种方法中权值的获取多依赖于专家的经验值，极具主观性和依赖性[11]。为此提出了一种改进的模糊综合评价模型，采用灰色关联评判方式，并以备选航路点对指标属性的贡献度为权重，来得到最终的综合评价值。

3.2 改进的模糊综合评价模型

本节提出的改进的模糊综合评价模型首先要构造综合评价矩阵。设第2节聚类后的分组图像每组有m个候选航路点，记作X1,X2,…Xm，每个候选航路点有3个特征指标，记作V1，V2，V3，第i个候选航路点的第j个因素的指标特征量，记作xij，则综合评价矩阵为：

(20)

每帧图像的适配性能与图像熵、拉普拉斯响应和、完整轮廓数这三个指标均呈现正相关，因此将其视为效益型指标，对综合评价矩阵进行极差运算，得到规范化矩阵R=(rij)m×3，其中：

(21)

(22)

其中ρ为分辨系数，一般取值0<ρ<1，本章中ρ=0.5。

则灰色关联度矩阵可表示为：

(23)

接下来，要根据每个候选航路点对应指标的贡献度计算评价权重。所有候选航路点对第j个特征指标的贡献总量，用Ej来表示：

(24)

(25)

在各个指标下，根据每个候选航路点的贡献度，求得特征指标的权重wj，方法如下：

gj=1-Ej(j=1,2,3)，

(26)

(27)

权重分配完毕后，将其与各候选航路点在三个指标下的关联度矩阵相乘，便得到模糊综合评价值一维矩阵：

(28)

对每个候选航路点的模糊综合评价值进行比较和排序，候选航路点的模糊综合评价值越大，说明其越适合作为返航过程中的航路点。这样便完成了对航路点适配能力评定，选择出了聚类后每组图像中最适合作为航路点的那帧图像。

4 仿真实验与结果分析

实验在Intel Corei5-4210U CPU，2.40 GHz，4 G内存，Windows7操作系统和VS2012平台下，搭配OpenCV2.4.8图像视觉库实现，完成对航路点的选取。为验证算法的有效性，采用文献[12]提出的景象匹配算法对航路点进行匹配定位实验，计算定位误差，以验证航路点适配性能排序方法的有效性。

实验中所用的航拍视频，是通过Google Earth软件的游览功能，规划并录制的桂林市解放桥桥头至日月双塔路段的航行视频，视角海拔高度稳定在700 m左右。航行视频录制界面如图1所示。

图1 航行视频录制界面

按照前文的航路点选取算法步骤，首先采用HSV彩色直方图帧间聚类方法对航拍视频的所有帧进行分组，航拍视频时长32 s，帧率25 fps，相邻两帧间变化较小，故取首帧进行后续聚类操作。这样，待处理视频图像总共有400帧，聚类方法的帧间相似度阈值取为0.8，聚类结果如表1所示。

表1 HSV彩色直方图帧间聚类结果

对每组中的图像提取图像熵、拉普拉斯响应和、完整轮廓数这三项特征指标，并采用改进的模糊综合评价方法评定各图像的适配能力，对得出的综合评价值进行排序，以第5组为例，第207帧-第220帧适合作为航路点程度排名结果如表2所示。

表2 适合作为航路点程度排名结果

由表2结果可见，在第五组的14帧图像中，总帧数的第207帧获得的模糊综合评价值最高，它的拉普拉斯响应和，以及完整轮廓数远大于其他图像，虽然图像熵稍显逊色，但总体看来，仍是最适合作为航路点的一帧图像。此外，随着综合评价排名的降低，单一特征指标值逐渐减小，但其与评价排名之间并不是单调关系。这也说明了采用单一指标作为航路点选择标准的局限性在于稳定性较低，多指标模糊综合评价方法则能够获得更合理的结果。

为验证上述排名顺序的可靠性，对第五组的14个候选航路点进行了匹配定位实验，匹配算法采用文献[12]提出的基于CenSurE-star的景象匹配定位方法，得到最终的经纬度坐标。将每个待选航路点的基准经纬度坐标与算法定位的得到经纬度坐标做比较，计算出其定位误差，如表3所示。

表3 各候选航路点定位误差

按照表2中的排名顺序，将候选航路点的定位误差记录在表3中，可见，排名靠前的候选航路点获得了更小的定位误差，定位误差由小到大的顺序基本上与排名顺序吻合，只有在排名第八的211帧和排名第九的210帧之间出现排名反转的情况，这可能是由于二者的综合评价值很接近，地物特征相似，适配能力相差不大。该定位误差的实验结果表明了算法计算的候选航路点的模糊综合评价值能够有效地反映各候选航路点的适配能力，为无人机无基准图的返航过程提供航路点。

6 结束语

本文提出了一种改进的模糊评价的无人机航路点选取方法，摆脱了对单一指标和专家经验值的依赖，为无人机无基准图返航方案中航路点的选取提供了一个行之有效的方法。在未来的研究工作中，将提出一个稳定性好、准确率高的景象匹配算法，在无人机卫星信号不可靠时，实现当前实时图与航路点的成功匹配与定位。这样无人机便能够在稳定飞行高度下，不断寻找并航行至下一个航路点，完成原路安全返航。