程佳兵 邹湘军 陈明猷 谭康裕 吴烽云

学术研究

多类复杂水果目标的通用三维感知框架*

程佳兵1邹湘军2陈明猷2谭康裕1吴烽云2

（1.广州南方学院电气与计算机工程学院，广东 广州 510970 2.华南农业大学工程学院，广东 广州 510642）

相比于理想的实验室环境，在户外果园采样的水果图像受更多复杂因素的干扰，如背景混杂、枝叶遮挡、光照不均和机械振动等，是制约视觉水果采摘机器人进一步发展和应用的关键因素。为此，提出一种适应于复杂采摘环境的通用三维感知框架。首先，构建并标定双目视觉系统；然后，借助深度目标检测网络去除复杂背景并获得水果所在的图像区域；最后，对水果区域进行立体匹配和三角测量，得到水果的三维点云与空间位置。该框架不依赖任何人工设计，可提高机器人在户外感知水果的准确度和稳定性，也可在不同的采摘任务中集成，为提高视觉水果采摘机器人感知的实用性提供有效的理论依据与技术支持。

采摘机器人；机器视觉；目标检测；立体匹配；三角测量

0　引言

视觉系统可帮助水果采摘机器人识别和定位果实，进而控制末端执行器自动采摘水果，是智能采摘机器人感知外界的重要模块之一。

目前，大多数基于视觉的水果采摘系统仅实现目标果实的识别、检测等单个任务[1-6]。虽取得较好效果，但主要聚焦于对单一功能模块的研究（如单独针对图像识别、三维重构或采摘路径规划等），未能给出一整套综合性的视觉感知流程。……