张青春 何孝慈 姚胜 郭振久

摘要：为提高智能移动机器人的感知能力，针对智能机器人相机与激光雷达融合提出一种基于直线与平面拟合算法，并将其应用于 ROS 智能移动机器人系统。基于 PPB 方法对相机图像进行畸变校正获得角点的二维坐标，采用点云反射强度（PCI）的方法获得角点的三维坐标。通过解决 N 点透视位姿求解问题（PNP 问题）的方法来获得三维坐标与二维坐标之间的变换，变换后完成相机与激光雷达的点云融合。将激光雷达与深度相机安装与机器人顶部并通过比较选择 ORB 算法作为机器人的 SLAM 方式，实验结果表明融合后机器人能够更有效地识别小体积障碍物，具有一定的应用前景。

关键词： ROS 系统;深度相机;激光雷达;融合

中图分类号： TP241.2;TB9文献标志码： A文章编号：1674–5124（2021）12–0120–04

Research on the fusion technology of camera and lidar based on ROS intelligent mobile robot

ZHANG Qingchun，HE Xiaoci，YAO Sheng，GUO Zhenjiu

（Automation Faculty， Huaiyin Institute of Technology， Huaian 223003， China）

Abstract： In order to improve the perception ability of intelligent mobile robots， an algorithm based on straight line and plane fitting is proposed for the fusion of intelligent robot camera and lidar， and it is applied to the ROS intelligent mobile robot system. Based on the PPB method， the camera image is subjected to distortion correctiontoobtainthetwo-dimensionalcoordinatesof thecornerpoints，andthepointcloudreflection intensity （PCI） methodisusedtoobtainthethree-dimensionalcoordinatesofthecornerpoints. The transformation between three-dimensional coordinates and two-dimensional coordinates is obtained by solving the N-point perspective pose problem （PNP problem）， and the point cloud fusion between the camera and the lidar is completed after the transformation. The lidar and depth camera are installed on the top of the robot， and the ORB algorithm is selected as the SLAM method of the robot through comparison. The experimental results show that the fusion robot can more effectively identify small-volume obstacles， which has certain application prospects.

Keywords： ROS system; depth camera; lidar; fusion

0引言

隨着科学技术的发展，机器人技术已广泛应用于各个行业。相较于用于传统工业的机器人，机器人领域的研究重点已经转移到了智能移动机器人上，智能移动机器人的应用变得愈加广泛，并能完成一部分人类的工作[1]。本文使用 ROS 系统，ROS 设计的主要目的是提高机器人研发中的代码重用度，是一个分层架构。尽管 ROS 系统仍然存在一些缺点，但是对其系统体系结构的研究将对机器人的整体开发和设计带来很大的帮助[2]。在智能移动机器人系统中，如何使用传感器对获得的数据进行更精确的映射，定位，感知和导航变得十分重要。自主移动机器人的传感器技术是指通过摄像头，激光雷达，毫米波雷达，超声波雷达等传感器与外界环境交互[3]。……