王一波，胡家俊，蔡洪炜，赵 云

（柳州工学院，广西 柳州 545616）

0 引 言

同时定位与地图构建（Simultaneous Localization And Mapping，简称SLAM），通常是指在机器人或者其他载体上，通过对各种传感器数据进行采集和计算，生成对其自身位置姿态的定位和场景地图信息的系统，其在智能机器人走向方面的应用发挥着关键作用。当前，主流SLAM技术分为激光和视觉两大类，激光SLAM算法简单，但成本相对较高，应用具有一定局限性。视觉SLAM利用摄像机（单目、双目或者RGBD）可以从环境中获取海量的、富于冗余的纹理信息，拥有超强的场景辨识能力，将成为今后技术发展的主要趋势。当机器人运动或者环境条件过于具有挑战性时（比如机器人快速运动，高度动态的环境），视觉SLAM系统将会出现无法定位和建图的失效情形，这对于未来无人系统越来越苛刻的应用需求无疑是重大难题。而从系统状态估计的角度认识视觉SLAM系统失效的本质，从机理上认清失效的原因，从而有针对性地做出预防显得更为重要。本文分析了视觉SLAM的概念，并以此为研究起点，通过对亮度、对比度、清晰度等构建模型评价图像质量，以此检测失效图像。

1 视觉SLAM失效定义及机理分析

1.1 视觉SLAM失效定义

一般视觉SLAM系统失效可分为软失效和硬失效。

（1）视觉SLAM软失效

视觉SLAM软失效：由于视觉SLAM算法未能及时、有效解析观测信息，而无法为无人系统提供有效的位姿及地图反馈。软失效的一种典型情况是：当相机视角发生大幅变化时，相邻帧之间图像特征点匹配数目骤减，而一般的视觉SLAM算法无法从有限的匹配点对中得到有效的位姿变化，引起定位失败的失效；另一种典型情况是：感知混淆（perceptual aliasing），即对于不同的输入，传感器感知到了相同信号的现象，使一般算法建立错误的观测-状态（measurement-state）匹配关系（false positive，假阳性），从而导致后端优化做出错误的状态估计。算法如果未对环境的动态性（包括短期变化和长期的季节性变化）进行建模，错误的情况会很严重。软失效只能通过不断改进算法进而提升算法对于环境的鲁棒性来解决。

（2）视觉SLAM硬失效

绝大多数无人系统都由于其需要反馈数据形成闭环流程，故极其依赖SLAM系统的正常运作。而视觉SLAM系统的失效更多是由于传感器发生的异常或错误导致。由于视觉传感器无法提供有效观测，造成SLAM系统无法继续跟踪机器人的空间位置、姿态及建图，即视觉SLAM硬失效。

1.2 视觉SLAM失效机理

一般的SLAM系统（包括激光SLAM和视觉SLAM）都是基于不同传感器回传数据、时序信息及历史信息进行定位与建图。传感器提供的数据将是系统能否有效工作的前提，当传感器发生严重失效时，无论SLAM算法多么鲁棒，也无法对错误信息或者干扰严重信息做出正确处理，自然也就无法做出正确的状态估计。传感器的两种失效情况本质上是不同的，可以从概率学的角度进行考察。传感器失效的本质即观测丢失，系统观测总是假定包含了被估状态或信号的信息，然而由于传感器失效造成观测仅包含噪声或者噪声占主要比重问题，视觉SLAM算法将以一定的概率利用的信息进行定位与建图。取值为0或1的伯努利白噪声序列是描述丢失观测的一种重要方法。假设系统模型如下：

式中：()∈R是系统状态（位姿及标志点空间坐标）；()∈R是观测图像；()∈R表示加性过程噪声；()∈R表示加性观测噪声；∈R和∈R是带适当维数的已知常矩阵。根据传感器的失效分类，()表示某种概率分布，一般可描述为伯努利分布和非伯努利分布两种。

（1）伯努利分布

()是取值为0或1的伯努利白噪声，且已知概率为：

当()=1时，观测()被正常接收；而当()=0时，观测()=()，仅有噪声信号被接收，即未包含状态()的信息，此时视觉SLAM完全失效。这种情况即对应着传感器物理损坏，造成无法接收有效信息。

（2）非伯努利分布

当()是在区间[,]上（0≤≤≤1）服从已知概率密度函数()的非伯努利白噪声序列时，观测中包含部分状态()的信息，此时视觉SLAM部分失效。这种情况则对应着部分硬失效，传感器只能接收部分有效信息，可通过改善视觉SLAM算法来补救，比如通过增加闭环检测。

2 视觉SLAM失效检测算法

2.1 图像质量综合评价算法

现在常用的客观评价方法分为：MSE和PSNR模型，基于SSM的方法和基于HVS的方法。MSE 和PSNR忽视了图像的实际内容对人眼的影响，很难与主观评价相一致；基于SSM的结果与图像的主观视觉质量基本一致，但计算过程相对复杂；基于HVS的方法只能依据一定的假设前提进行，目前对它的认知还很有限。无人系统运动过程中，扫描单元始终处于一种无约束状态，图像质量将受到各种因素的影响。为此，针对图像的特征，本文将利用客观评价方法，建立评价模型，分别对对比度、亮度、清晰度和信息量做出评价，最后得到一个综合的评价结果，作为是否失效的依据。

（1）对比度评价

SLAM图像的对比度受直方图控制，通常对比度较高的图像其直方图分布较宽，理想情况下覆盖整个灰度范围，反之则对比度较低。对比度越高，则越有利于SLAM特征的提取。为此，定义图像对比度评价系数为λ，则其求解如下：

式中：(r)为图像的归一化直方图；r表示第级灰度；n表示灰度级为r的像素个数；为图像像素总数。

（2）亮度评价

对于SLAM图像，过亮或者过暗都不利于后续特征提取或者匹配，可以基于平均灰度来定义联亮度评价因子λ，则其评价函数为：

式中，为图像像素的平均灰度值，即：

其中，、分别为图像的行数和列数。

（3）清晰度评价

SLAM图像同样会受到模糊的影响，包括离焦模糊和运动模糊，前者主要是由镜头与周围物体表面的距离较大变化引起，后者则是由于运动剧烈造成。本文选用拉普拉斯算子定义模糊度评价函数，其对于离焦模糊和运动模糊评价都有很好的效果。设其评价因子为λ，定义如下：

其中，=∑|4(,)-(,-1)-(,+1)-(-1,)-(+1,)|。

（4）总体评价

在对每个分项进行评价后，须给出一个总体的评价，设总体评价得分为，则：

其中，μ、μ、μ分别为3个评价分项的权重系数。综合反映了图像质量，决定着该幅图像是否有效，而权重系数的合理取值决定着评价的科学性。

2.2 模拟图像退化系数求解算法

本文将采用模拟可控退化图像的方式，确定式（8）中的权重系数。视觉SLAM在运行过程中，可能存在各种干扰，见表1所列。但各种干扰的出现概率不一，如果单纯靠实验进行失效算法验证，则样本缺乏多样性，所得结果缺乏鲁棒性，同时对于失效检测算法的优化也缺少相应的数据支持。为此，本文将基于退化仿真的手段，对原始标准图像进行加噪、模糊、灰度/对比度变化、位移形变、降采样等图像处理，如图1所示。在此各种处理可任意组合调用，同时通过调整各种处理参数，实现由一张图像生成一批不同退化形式、不同退化程度的图像数据集，实现干扰工况的充分模拟和数据增广。

表1 常见干扰与算法实现方法

图1 图像退化处理

选用标准的棋盘格图像分别进行加噪、模糊和对比度处理，以目前视觉SLAM常用的ORB角点提取算法作为图像退化评价的基准，定量评价各种退化处理对ORB角点提取产生的影响，其结果如图2所示。

图2 棋盘格图像退化对特征提取的影响

由图中可以看出，图像退化对于ORB特征的提取都会产生负面影响，模糊退化对于ORB角点提取的影响最大。本文将以特征检测错误率定量描述不同退化产生的影响，具体见表2所列。

表2 图像退化特征检测

同时也可推出，特征检测错误率越高说明其对应的指标权值越大，错误率越低说明其对应的指标权值越小。这里可根据角点提取的错误率确定权重并进行归一化：

其中：γ、γ、γ分别为亮度、对比度和模糊退化的错误检测率；μ表示任意一种评价指标的权重。通过对不同形变条件下的20幅棋盘格图像进行实验，分别计算权重系数，最后取均值，结果见表2所列。以上述图像为例，设定允许的错误率为0.05条件下，通过估计可得图像的综合评价阈值为2.7，当大于该阈值时，图像的错误率将满足要求，反之则不满足。对于SLAM而言，在无人驾驶等场景下可靠性要求更高，对于错误判断的容忍度更小，为此可通过提高阈值，从而提高判断正确的指标。

3 实验及分析

本文通过对真实场景不同程度的退化图像进行评价，然后对照其ORB提取结果，以此验证算法的有效性。这里分别采集了一组细节程度不同的图像，并分别对其进行亮度、对比度及清晰度退化，如图3所示。

图3 单一图像退化对特征提取的影响

根据上述图像对其进行综合评价，结果见表3所列，通过与阈值2.7进行比较，发现三种退化都将造成图像失效，与主观观察得出的结论一致。

表3 简单场景图像质量评价

实际SLAM运行过程中，图像退化往往是几种退化综合作用产生的结果，为此将通过组合各种退化模拟实际场景，如图4所示，分别综合使用了亮度与模糊退化、对比度与模糊退化，前者评价分值为1.4，后者评价分值为1.3，二者都低于阈值2.7，算法判定为失效，该结论与主观观察得出的结论一致。

图4 综合图像退化对特征提取的影响

4 结 语

基于图像质量评价的方法重点研究了视觉SLAM失效检测方法，定义了评价指标体系，应用标准棋盘格标准图像模拟视觉SLAM运行过程中可能产生的退化；按照退化对于特征提取的影响程度成正比的关系，确定了不同指标的权重，根据阈值方法进行失效评判。实验表明，文中提出的失效检测算法能够有效检测各种退化图像，并且可以辅助视觉SLAM线上实时运行，具有稳定可靠的特点。今后将继续优化算法设计，不断提升算法效率。