范晓鹏，郝颖明，朱　枫，付双飞

(1. 中国科学院沈阳自动化研究所光电信息技术研究室，沈阳 110016； 2. 中国科学院大学，北京 100049；3. 中国科学院光电信息处理重点实验室，沈阳 110016； 4. 辽宁省图像理解与视觉计算重点实验室，沈阳 110016)



面向机器人航天员的球形目标识别与定位方法研究

范晓鹏1,2,3,4，郝颖明1,3,4，朱枫1,3,4，付双飞1,3,4

(1. 中国科学院沈阳自动化研究所光电信息技术研究室，沈阳 110016； 2. 中国科学院大学，北京 100049；3. 中国科学院光电信息处理重点实验室，沈阳 110016； 4. 辽宁省图像理解与视觉计算重点实验室，沈阳 110016)

摘要:针对机器人航天员在典型目标识别与定位方面的问题，提出一种球形目标识别与定位方法，利用目标颜色特征和形状特征实现了目标识别，采用空间射影几何方法推导了单目视觉空间球定位公式，建立了硬件试验环境，在此环境下实现了基于彩色相机的单目视觉定位、双目立体视觉定位以及融合TOF相机和彩色相机的视觉定位方法。通过真实试验和仿真实验对这些方法进行了比较分析，得到了各自的适用条件，为工程应用中具体方法的选择提供了依据。

关键词:机器人航天员；单目视觉；双目视觉；TOF；球形目标；圆锥方程

1引言

机器人可以替代人完成简单重复的操作，也可以在恶劣条件下工作。在太空中，为了减轻航天员的作业负担、保障航天员的安全，美国率先制造了机器人航天员，并于2011年向国际空间站投入使用[1]，这款机器人由通用汽车公司和休斯顿海洋工程空间系统联合制造。第一代机器人航天员造于1997年，是一个能执行简单维护任务的人形机器人[1]。作为继任者的R2(图1)是一款完全模块化、高敏捷度、重达300磅的机器人。这款机器人有一个脑袋，一个躯干，两条手臂和两只手，配备了两台Allied Vision Technologies(简称AVT)的Prosilica GC2450彩色相机和一台MESA Imaging AG的SR4000红外飞行时间(TOF)相机[3]。两台彩色相机构成双目立体视觉，根据测量任务的具体要求可以选择用单目完成测量还是双目完成测量。TOF相机可以直接给出目标的三维测量结果，很容易根据测量数据做背景分割。已有许多学者针对TOF相机目标识别与定位问题开展了相关研究，如胡良梅等[4]提出一种深度图像与彩色图像相结合的目标检测方法，该方法可以避免深度图像噪声干扰大、彩色图像背景分割困难等问题；赵科等[5]提出了一种可以解决TOF相机采集图像存在毛刺干扰的方法，用于提高三维显示的质量；张约伦[6]提出基于贝叶斯概率模型TOF图像分割方法。只是TOF的三维测量精度一般在10 mm数量级(参考SR4000 产品使用手册)，难以满足任务中对精度的要求。在实际应用中尚需要与彩色相机配合使用。

图1　国际空间站上的Robonuat2[1]Fig.1　Robonuat2 in International Space Station[1]

机器人航天员在空间站上的作用是：一方面能够减轻航天员的工作负担；另一方面可以陪同航天员排解枯燥的非作业时间，如2013年进入空间站聊天机器人Kirobo，其主要目的就是为了排除航天员在空间站中的孤独感[2]。仿人形Robonuat2除了以上介绍的视觉系统外还具有完整的上肢机构，可陪同航天员做一些简单的抛球运动，而球形目标识别与定位是完成这一动作的基本前提。目前双目视觉已经十分成熟，针对实际应用需求已有诸多基于双目视觉开展的研究成果[7-8]。本文主要研究球形目标识别与定位方法，在这方面杨绍武[7]针对乒乓球双目视觉定位开展了研究，陈诚[9]开展的双目视觉移动目标检测也是以球形目标作为实验对象。而在单目视觉球形目标定位方面目前开展的研究相对较少。

本文以机器人航天员为应用背景，开展球形目标识别与定位方法研究，根据球形目标成像的轮廓曲线推导了球形目标空间坐标的计算公式，给出了融合彩色图像和TOF图像的目标识别结果，进行了单目视觉与双目视觉定位精度比较的仿真实验，给出单目视觉、双目视觉的适用条件。

2基于彩色相机的球形目标定位方法

直接利用彩色相机可以实现对球形目标的定位。根据所用相机数目的不同，定位方法分为单目视觉定位和双目视觉定位两种。无论采用哪种定位方法，都需要经过目标识别和目标定位两个步骤。目标识别即通过图像处理和目标识别技术，将图像中的球形目标识别出来，得到球形目标在图像中的表示。目标定位即利用目标识别结果，借助于球形目标的模型参数和相机标定参数计算出目标与相机之间的相对位置。

2.1球形目标识别方法

图像中目标识别的主要依据是目标的特征，包括形状、颜色、纹理等。球形目标成像后是一个椭圆形区域，其颜色一般与背景有较大差别，因此可以利用目标的颜色对图像做分割处理，得到目标候选区域，再根据形状约束对假目标区域做排除，最后对得到的目标区域进行特征提取，得到球形目标的图像表示。不同颜色的目标颜色特征不同，只要找到目标颜色与背景的差异，就可以在RGB 3通道色彩空间上实现对目标的初始分割。本文以网球为例阐述颜色分割方法。网球为黄绿色球体，通过对大量网球图像(如图2.a所示)的分析发现，目标区域R、G、B三个分量具有式(1)所示关系:

(1)

图2　网球识别过程Fig.2　Tennis identification process

直接应用公式(1)实现图像分割，其结果会存在一些噪声，尤其是网球表面并非十分均匀且有白色条纹，可能会导致目标区域不完整而造成判别错误。本文采用图像形态学处理来解决这一问题。首先通过腐蚀运算减少图像中的噪声区域，再用膨胀运算连接被白色条纹分开的目标区域。具体算法实现时需要根据实际图像确定腐蚀和膨胀运算的模板形状、大小以及次数。通过对大量实际图像的分析与处理得到了形态学处理的经验参数。其中腐蚀运算次数为2次，膨胀运算次数为1次，运算顺序为腐蚀、膨胀、腐蚀，第一次腐蚀运算采用半径为4像素的圆形模板，膨胀运算采用半径为15像素的圆形模板，第二次腐蚀运算采用之前膨胀、腐蚀运算半径的差值11。图2.b和2.c分别给出了彩色图像分割时数学形态学运算前后的试验结果。

从试验结果上可以看出，形态学运算可以消除绝大部分噪声点的干扰，并且可以有效连接目标区域，但是仍然存在一些颜色与目标区域十分相近的区域无法排除，如图像中的绿色圆柱体，这就需要一些其他的约束条件来排除干扰。通过对大量实际图像(大量主要是指不同光照条件，例如白天阳光照入室内、夜晚日光灯以及光照方向变化等条件下采集的图像，以及针对每种光照条件下目标在视场范围内光轴方向距离范围500～1000 mm内运动的测试图像)的处理分析得到2个十分有效的约束条件：

1)面积约束：球形目标的空间运动范围有限，成像面积会有一定的取值范围。

2)形状约束：球形目标在图像上的成像近似为圆形，可以用以下2个形状特征来约束：

(1) 水平外接矩形长宽比：圆形的水平外接矩形长宽比近似为1；

(2) 区域面积与水平外接矩形面积比：圆面积与水平外接矩形的面积比值为π/4，实际以0.6作为该比值最小值约束。

球形目标的成像实际上是一个椭圆，但机器人航天员R2上使用的AVT Prosilica GC2450相机配上8 mm镜头产生的视场角约55°，球形目标的成像偏心率并不大，成像近乎圆形(如图2所示)。本文采用圆来表示球形目标的成像，其参数为圆心坐标和半径。通过以上处理可以得到目标区域的边缘，利用最小二乘法进行圆的拟合，得到目标的图像表示。利用上述目标识别方法，我们实现了对图像中网球的识别，在相机视场范围内进行了大量的实验，均能在图像上正确识别出网球区域，图2.d中用红色曲线标注了一组识别结果。

2.2球形目标定位方法

理论上，只要已知球形目标的图像表示，利用单目视觉即可实现对空间球的定位。单目视觉球形目标定位只需要一个相机且只需要处理一幅图像，不仅所需资源少且计算速度快。但单目视觉定位需要同时用到图像中圆的圆心和半径两个参数，由于空间球在相机中成像后，球的边缘在图像中比较暗，在图像分割过程中边缘易受噪声干扰，使得圆拟合时半径存在一定的误差，最终导致单目视觉定位在距离方向误差较大，这个误差会随着测量距离的增加而变大。而双目视觉只要已知图像中目标圆的圆心即可求解球的空间坐标，定位精度会比较高，但需要2个相机并处理2幅图像，计算速度较慢。因此，需要根据具体任务对处理速度和测量精度的要求选择合适的定位方法。双目视觉目标定位方法[7-10]研究相对比较成熟，本文只介绍单目视觉空间球定位的相关公式推导过程。尽管空间球的成像是一个椭圆形，但是试验发现采用圆形拟合成像区域的边缘对噪声干扰的鲁棒性更高。

设球形目标在图像上的圆方程为

u2+v2-2u0u-2v0v+c0=0。

文献[11]给出了式(2)所示根据成像平面二次曲线推导包络空间球的圆锥方程的计算公式：

Q=PTCP

(2)

其中，C是二次曲线的3×3矩阵表达方式，P是摄像机的3×4标定矩阵，Q是圆锥方程4×4矩阵表达方式。

根据公式(2)得到的4×4圆锥方程并不能直接用于求解空间球的坐标，还需要将4×4圆锥方程转换到圆锥的一般化方程，本文假设圆锥在摄像机坐标系下的方程为式(3)：

(3)

其中，(a,b,c)代表圆锥的轴向，是一个单位向量；(x,y,z)代表圆锥上的一个点坐标；(xc,yc,zc)代表圆锥顶点在参考坐标系下的坐标；θ代表圆锥母线与轴线的夹角，对于圆锥该夹角是一个定值。在圆锥的4×4方程已知的前提下，为了得到公式(2)中的位置参数，需要将公式(2)转化为式(4)所示矩阵形式：

(4)

Q矩阵通过公式(2)计算而来，根据Q矩阵左上角3×3矩阵可以得到(a,b,c)和θ的取值，再将(a,b,c)和θ的具体值代入q14、q24、q34构成的方程组即可得到(xc,yc,zc)的具体值。最后如式(5)所示，根据球的半径R可求解其在参考坐标系下的坐标。

(5)

3融合TOF相机与彩色相机的目标定位方法

机器人航天员R2不仅配置了2个彩色相机，还配置了1个TOF相机。利用TOF相机可以得到场景中各点的三维坐标，直接利用TOF相机即可实现对空间球的定位。但由于TOF相机本身分辨率较低，且测量精度不高，直接利用TOF相机定位空间球难以保证测量精度。利用彩色相机的定位虽能得到较高的测量精度，但由于彩色其分辨率较高，处理速度较慢。为同时利用TOF相机和彩色相机的优点，可以将二者融合起来实现空间球的定位。

利用TOF相机可以获得图像上各点的空间三维坐标，但由于光线多次反射等原因可能导致图像中某些像素在光轴方向的数据无效(数值为0)，光轴方向无效数据取值为0(如图3.a中的黑斑)。因此，本文分析了大量的图像，最终选择5×5窗口的中值滤波很好地解决了这一问题。图3.b给出了一组处理结果。本文假设球形目标是距离相机最近的目标，反映在TOF距离图像上即灰度较小的区域。直接利用阈值法进行图像分割，即可得到目标区域。处理结果如图3.c所示。

图3　TOF图像处理结果Fig.3　TOF image processing result

融合TOF相机和彩色相机的空间球定位方法，首先利用TOF相机为空间球进行初定位，据此获得空间球在彩色相机上大致位置并计算感兴趣区域(ROI)，最后在ROI内利用彩色相机实现定位。这样可以同时保证处理速度和测量精度，也可以降低目标误识别的概率。

4实验结果

实验分为真实试验和仿真实验两部分。真实试验主要用于验证目标识别算法的有效性以及统计图像处理时间，同时给出几组定点测量误差结果；仿真实验主要用来对比单目视觉和双目视觉的目标定位精度，视场覆盖相对于真实试验更加充分，可以为实际应用提供一个参考。

为完成真实试验，首先建立了真实的试验环境，包括激光跟踪仪1台用于相机标定，视觉平台1套用于目标识别与测量，如图4所示。试验中使用AVT Prosilica GC2450配置8 mm镜头；MESA Imaging AG SR4000 TOF安装于2个彩色相机的正下方；视觉平台用连接件固定在一个运动平台的末端，以此可以来控制视觉平台的位置及姿态；用于识别定位的网球半径为34 mm；目标识别与定位程序运行在研华UNO-2184G工控机上。真实试验分别实现了基于单目视觉的测量方法、基于双目视觉的测量方法、融合TOF相机的单目视觉测量方法和融合TOF相机的双目视觉测量方法，进行了不同条件下的大量试验验证，并对四种方法的处理时间进行了统计。试验结果如由统计结果如表1所示，从表中可以看出：采用TOF相机进行目标区域定位可以有效减少图像处理时间。真实试验过程中，精度测试比较耗时，所以仅做了9个固定位置的精度测试试验，测试结果如表2所示，表2中第2～4列为激光跟踪仪测量得到的标准值，5～7列为单目视觉的测量误差，8～10列为双目视觉的测量误差。实际测试结果表明，单目视觉的测量误差基本为双目视觉的2～3倍左右。

图4　试验环境Fig.4　Test environment

表1不同方法的处理时间统计结果

Table 1Statistical results of processing time of different methods

使用方法处理时间/ms基于彩色相机的方法单目86双目182融合TOF与彩色相机的方法单目59双目128

表2　单/双目视觉的实际精度测试结果

仿真实验的目的在于比较单目视觉测量方法和双目视觉测量方法的测量精度。实验中，相机参数以实际标定结果为准，目标在Z方向(即光轴方向)由500～1000 mm一共设置6个距离段，每个距离段内在X方向和Y方向分别均匀采样101个点一共形成10 201个仿真位置。仿真误差为1个像素误差施加在小球成像的边缘点及形心上，根据施加误差的成像边缘及形心利用单目视觉算法及双目视觉算法分别重新计算小球空间位置，比较仿真位置与重新计算得到的小球位置可以得到一次误差统计的样本，统计所有仿真位置的平均误差可得到表3。从表中可以看出，双目视觉的测量误差几乎是单目视觉统计误差的一半。

表3单/双目视觉的仿真精度统计

Table 3Statistical results of measurement accuracy of single/binocular vision

Z方向距离单目视觉/mm双目视觉/mmXYZXYZ5000.4120.3123.1520.2400.2451.5356000.5530.4584.5150.3250.3232.1927000.7410.6706.1950.4250.4182.9828000.9890.9148.0310.5540.5423.8629001.2771.22010.1830.7080.7044.94810001.6091.54512.4680.8710.8566.080

综上所述，本文的几种测量方法均适用于目标与背景颜色差别较大时的球形目标测量，不同的测量方法适用条件略有差异，具体条件如表 4所示。具体应用时，可以根据任务需求选择不同的测量方法。

为了能够更好的反应出学生在本门课程中的学习情况，本课程的评价机制主要分两个部分完成。一部分是最终的理论考试，占到总课程评价的30%；一部分是学生课堂上完成实训项目的评价，由教师打分、小组自评和小组互评完组成，此部分评价占课程评价的40%。

表4　不同方法的适用条件

5结论

本文以机器人航天员典型目标识别与定位为应用背景，开展了球形目标识别与定位相关方法的研究。仿真实验给出了单目视觉与双目视觉精度误差的统计规律，并通过真实实验加以验证。真实试验还给出了几种目标识别与定位方法的适用条件，为实际应用提供了一定的参考。本文提出的方法对其它典型识别与定位也具有一定的参考价值，例如融合TOF与彩色相机信息也可以用于水杯、扳手等典型目标的识别与定位，首先利用TOF相机分割目标与背景，再结合彩色相机图像并利用先验知识做精确的目标定位计算。当然，在具体实现细节上还需进一步探索，这也是接下来的主要研究方向。

参考文献(References)

[1]Ambrose R, Aldridge H, Askew R, et al. Robonaut: NASA’s space humanoid[J].IEEE Intelligent Systems Journal, 2000,15(4):57-63.

[2]Richard Adhikari. Little kirobo to become first robot space talker[EB/OL]. (2013)[2015].http://www.technewsworld.com/story/78364.html.

[3]Diftler M A, Ambrose R O, Goza S M, et al. Robonaut mobile autonomy: Initial experiments[C]//Robotics and Automation, 2005. ICRA 2005. Proceedings of the 2005 IEEE International Conference on. IEEE, 2005: 1425-1430.

[4]胡良梅,段琳琳,张旭东, 等.融合颜色信息与深度信息的运动目标检测方法[J].电子与信息学报,2014,36(9):2047-2052.

Hu Liangmei, DuanLinlin, Zhang Xudong, et al. Moving object detection based on the fusion of color and depth information[J]. Journal of Electronics & Information Technology, 2014,36(9):2047-2052.(in Chinese)

[5]赵科,余洪山,王耀南, 等.基于视觉映射的三维相机信息可视化改善方法[J].电子测量与仪器学报,2012,26(6):529-534.

Zhao Ke, Yu Hongshan, Wang Yaonan, et al. Improved 3D information visualization method for TOF camera based on vision projection[J]. Journal of Electronic Measurement and Instrument, 2012,26(6):529-534. (in Chinese)

[6]张约伦.基于Kinect的抠像算法研究[D].西安: 西安电子科技大学,2012.

Zhang Yuelun. Research on Image Matting Algorithm Based on Kinect[D].Xi’an: Xidian University,2012.(in Chinese)

[7]余小欢,韩波,张宇, 等.基于双目视觉的微型无人机室内3维地图构建[J].信息与控制,2014,43(4):392-397.

YU Xiaohuan, HAN Bo, ZHANG Yu, et al. Binocular stereo vision based 3D mapping for micro aerial vehicles in an indoor environment[J]. Information and Control,2014,43(4):392-397.(in Chinese)

[8]黄敏,鲍苏苏,邱文超, 等.基于可见光下双目视觉的手术导航研究与仿真[J].机器人,2014,36(4):461-468,476.

HUANG Min, BAO Susu, QIU Wenchao, et al. Study and simulation of surgical navigation based on binocular vision under visible light[J]. Robot, 2014,36(4):461-468,476.(in Chinese)

[9]陈诚.基于双目视觉的运动目标跟踪算法研究与应用[D]. 哈尔滨: 哈尔滨工业大学, 2014.

CHEN Cheng. Research and Application on Moving Objects Tracking Algorithm Based on Binocular Vision[D]. Harbin:Harbin Institute of Technology, 2014.(in Chinese)

[10]杨绍武.基于双目视觉的乒乓球识别与跟踪问题研究[D]. 长沙: 国防科学技术大学, 2009.

YANG Shaowu. Research on the Recognition and Tracking Problem of Ping-peng Based on Binocular Vision[D]. Changsha: National Defense Science and Technology University. 2009.(in Chinese)

[11]吴福朝. 计算机视觉中的数学方法[M].第二版. 北京:科学出版社, 2011:57-59.

WU Fuchao. Mathematical Methods in Computer Vision[M]. 2th edition. Beijing: Science Press, 2011:57-59.(in Chinese)

Study on Spherical Target Identification and Localization Method for Robonuant

FAN Xiaopeng1,2,3,4, HAO Yingming1,3,4, ZHU Feng1,3,4, FU Shuangfei1,3,4

(1. Optoelectronic Information Technology Laboratory, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China；2. University of Chinese Academy of Sciences, Beijing 100049, China；3. Key Laboratory of Optical-Electronics Information Processing, Chinese Academy of Sciences, Shenyang 110016, China；4. Key Laboratory of Image Understanding and Computer Vision, Liaoning Province, Shenyang 110016, China)

Abstract:A spherical target identification and localization method was proposed for typical target identification and positioning problems of robonuant. Target recognition was realized by using objective color and shape characteristics. The monocular vision ball localization formula was derived with spatial projective geometry method. Then the hardware experiment environment was established to conduct the monocular camera positioning test, binocular stereovision positioning test and visual positioning fusing TOF cameras and color cameras test. By comparing and analyzing the test results of these real experiments and the simulations, their applicable conditions were obtained. These applicable conditions could serve as a reference for the engineering applications.

Key words:robonuant; monocular vision; binocular stereovision; TOF; spherical target; tapered equation

收稿日期：2015-09-01；修回日期：2016-03-03

基金项目：载人航天预先研究项目(050101)

作者简介：范晓鹏(1987-), 男, 博士研究生, 主要研究方向为图像质量评价、目标识别摄像机三维测量。E-mail：fanxiaopeng@sia.cn

中图分类号：TP391.4

文献标识码：A

文章编号：1674-5825(2016)03-0375-06