尹辰柯 胡家辉 王靖宇

摘  要：常用定位及避障传感器中，LIDAR不受光照影响、创建地图精度高，但数据量较少;Kinect深度相机成本低、数据量丰富，但受环境影响较大。在此基础上，提出一种将激光雷达与Kinect深度相机数据融合的方法。该方法预处理深度图像数据，转换为激光数据，从而投影到极坐标上，得到的非线性数据，在处理上引入了雅可比矩阵。接着通过EKF算法，将线性激光雷达信息和变换非线性深度相机信息融合。通过对比，EKF融合数据相较单独LIDAR数据或Kinect深度相机数据能够在大部分场景中更好地还原真实路径。

关键词：深度图像  极坐标  障碍物检测  路径规划

中图分类号：TP391                           文献标识码：A                   文章编号：1672-3791（2020）10（b）-0033-03

Abstract： Among the commonly used location and obstacle avoidance sensors， lidar is not affected by illumination and has high accuracy in creating maps， but the amount of data is small; Kinect depth camera has low cost and rich data， but it is greatly affected by the environment. On this basis， a method of data fusion between lidar and Kinect depth camera is proposed. In this method， the depth image data is preprocessed， converted into laser data， and then projected onto the polar coordinates. The Jacobian matrix is introduced in the processing of nonlinear data. Then， the linear lidar information and transform nonlinear depth camera information are fused by EKF algorithm. Compared with lidar data or Kinect depth camera data， EKF fusion data can restore the real path better in most scenes.

Key Words： Depth image; Polar coordinates; Obstacle detection; Path planning

傳感器是连接被测环境与实际测量的桥梁，是环境状态精准测量中最初始和最重要的部分。M. Zohdy等人发现不精确的传感器读数会导致冗余的环境测量，产生不恰当甚至错误的决策[1]。因此，选择合适的传感器做合适的测量，再将被测环境与实际测量联系起来显得格外重要。如果单一传感器无法提供必要的数据，就需要用到传感器融合技术。使用多个传感器提供冗余信息，可以减少错误的测量的机会[2]。从各个传感器获取有关参考的数据，融合数据并将冗余数据利用起来。通过传感器融合技术，可以将两个或者多个传感器用特定的方式结合起来，并能够互补优势，去其劣势[3]。

1  LIDAR与深度相机对比

单个传感器看来，LIDAR能够获得高清的三维环境感知信息且工作状态与自然光无关，利用3D反射精确确定对象，在障碍物的检测、分类、跟踪上有广泛应用，Lin， C.H等人[10]为使用SVM分类器，对加权协方差矩阵进行特征提取，进行LIDAR检测。但是对于距离较远的物体，LIDAR无法精确检测，从而在精确检测上存在一定问题，并且因为成本较高，无法大范围使用[3]。LIDAR检测到目标物体，并拒绝其他物体，给出目标物体的位置（单位为m），方向角（单位为。）以及判别值。

与LIDAR不同的是，深度相机根据丰富的纹理、形状、颜色来做出决策。它可以用于检测物体并估计物体位置，并且单个RGB相机可以独立用于图像定位。虽然深度相机可以用图像的深度学习对物体进行检测，以改进结果[7-9]。但是与LIDAR相比较，Kinect深度相机的定位效果较差，在多雾、下雨等环境中效果不佳[4-6]，但LIDAR则不受这些因素影响[3]。Kinect深度相机将检测的结果表示为图像中的相对边框的位置，并且划分各个区域的可信度。对两个数据进行预处理，变换深度相机的数据映射，得到x、y、z方向以及角度θ估计值。

2  融合技术

众多摄像机与LIDAR的融合技术中，一个较为精确的例子，融合了稀疏的3D LIDAR和密集的3D图像点云。但是这种方法中，3D图像中对应点的匹配在计算上很复杂，如果图像的纹理很少，则可能无法很好的工作。该文提出一种实时、精确的方法，同时利用LIDAR和Kinect深度相机来准确定位对象，并且在成本上，因为使用八光束的LIDAR，所以更加便宜。该文的重点在于Kinect深度相机和LIDAR二者所搜集信息的融合EKF算法研究及路径规划，并做了相应的路径还原程度和纯LIDAR或者深度相机路径还原的比较，验证了算法结果。实验所用数据均来于自建机器人平台。

3  算法设计

算法主要有3个模块组成，包括数据映射转换模块、扩展卡尔曼滤波模块、定位决策制定模块。

3.1 深度图像映射转换

在Kinect深度相机得到深度图像之后，经过一系列的图像预处理，我们将图像中转换窗口的每个像素列上深度值最小的像素点距离和角度提取出来，形成一系列的虚拟激光点。

根据数据的对应关系，m为深度图像中任意一点，M为RGB图像中与m对应一点。Zk为m点的深度值，r为光心O与目标点M的虚拟激光点距离，A、C为中间虚拟激光点。下面列了各个必要参数的计算方法。

（2）二维激光点标定：将Kinect深度相机的视角范围规定为，在该范围内所取得的激光点序列号记为i，所取得数量记为N：。

3.2 扩展卡尔曼滤波

卡尔曼滤波（KF）被广泛应用于传感器测量数据的滤波以及传感器数据融合。由于该系统所处理数据非线性，所以，可以用扩展卡尔曼滤波（EKF）应用到数据的处理中，它可以将协方差和均值线性化。扩展卡尔曼滤波的有关等式如下所示。

（1）目标状态预测：，式中：xk为状态向量（目标和速度）。

（3）计算卡尔曼滤波增益：，式中：H为测量向量。真实测量zk为：，式中：vk为测量噪声，服从均值为0、方差R的正太分布。

3.3 MATLAB实现

该系统算法基于MATLAB运行调试实现。系统在开始阶段，首先从外部文件中读取摄像头参数，并将参数初始化，然后图像采集节点不斷以5Hz的刷新频率更新深度相机采集的场景图像。在得到深度图像与LIDAR信息之后，EKF节点与模糊系统节点同时运行并订阅数据信息，在EKF节点工作结束后，将采集信息作为参考加入模糊逻辑系统中，作为决策参考因素。EKF节点在完成系统的初始化并且针对输入的图像进行目标状态的预测、卡尔曼滤波增益计算、数据更新3个线程，从而一方面纠正相机的状态，同时进行定位的决策。在扩展卡尔曼滤波节点上，对目标状态预测中，包含对深度相机以及LIDAR参数进行检查，获取正确的参数条件之下，执行接下来的算法步骤，最终实现障碍物的检测并将该信息传递给下面步骤。当未检测到深度相机或者LIDAR传递有效数据时，系统关闭。

4  实验

该文采用的实验数据样本来自互联网爬虫获取的KITTI数据集，使用数据对系统准确性进行测试。实验设备为一台配备Intel core i5处理器的笔记本电脑，操作环境Ubuntu 16.04，MATLAB版本2018B。得到的各个数据子集的定位均方根误差对比如表1所示。

通过进行实验并对结果进行分析，得出扩展卡尔曼滤波算法（EKF）的定位精度显著优于深度相机，并且优于LIDAR的定位精度，这是因为该文所采用的算法是将深度相机和LIDAR二者在EKF算法下融合实现的，因此能够保持较高甚至在某些场合之下保持更高的定位精度。

5  结语

该文提出一种将激光雷达与Kinect深度相机数据融合的方法，将深度图像数据处理为非线性激光数据，通过卡尔曼滤波算法（EKF）融合数据，并将融合结果与LIDAR和深度相机分别单独作用下均方差误差对比。通过多传感器数据融合，可以有效提高数据精确度，提高复杂环境下场景识别能力。该研究可广泛应用于自动驾驶、运输、服务机器人等领域。

参考文献

[1] 闫九祥，赵永国，张艳芳，等.基于单目视觉的工业机器人拆垛系统设计与实验[J].机床与液压，2020，48（3）：18-23.

[2] 邹斌，刘康，王科未.基于三维激光雷达的动态障碍物检测和追踪方法[J].汽车技术，2017（8）：19-25.

[3] 李启东.基于单目视觉的机器人动态障碍物检测与壁障方法研究[D].吉林大学，2016.

[4] 曹洁.SINS/GPS组合导航自适应滤波算法研究[D].华东师范大学，2018.

[5] 王博.基于MIMU的姿态解算研究[D].中北大学，2018.

[6] 仲江涛.基于UWB室内定位算法的研究与实现[D].深圳大学，2017.

[7] 朱文浩.基于多传感器融合的移动机器人系统设计与建图导航研究[D].哈尔滨工业大学，2018.

[8] 杨思睿，薛朝辉，张玲，等.高光谱与LiDAR数据融合研究——以黑河中游张掖绿洲农业区精细作物分类为例[J].国土资源遥感，2018，30（4）：33-40.

[9] 郎朗，冯晓蓉，刘浪.基于LiDAR的农田地形环境三维重建方法设计与研究[J].中国农机化学报，2020，41（1）：161-166.

[10] 杨杰.基于LiDAR数据的DSM和DEM制作研究[J].科技资讯，2019，17（22）：6-7.

[11] 许志华.基于低空影像和地面LiDAR数据的建筑物损毁评估方法研究[J].地理与地理信息科学，2018，34（4）：126.

[12] 李伟.基于回波次数的点云强度滤波方法在处理LiDAR数据中的研究与应用[J].经纬天地， 2019（3）：61-65.