孙瑞轩，董 浩，肖 磊，张田龙

(河北省自动化研究所，河北石家庄 050081)

基于双目立体视觉技术的运动物体空间位置信息测量方法研究

孙瑞轩，董 浩，肖 磊，张田龙

(河北省自动化研究所，河北石家庄 050081)

为了使Delta机器人能够快速、准确地拾取随机出现在输送带不同位置上的不同高度的目标物体，设计了一套可获取运动目标物体空间位置信息的测量系统。利用LabVIEW与Matlab混合编程技术，同时结合双目立体视觉技术和图像处理技术以及光电传感设备，实现了对运动物体空间位置信息的准确获取。对该系统的测试方法和测试数据进行了实际检测和分析，检测数据表明，经过图像径向畸变矫正后，由该系统及测试方法获取的空间位置信息数据具有较小的相对误差。

工业机器人技术；混合编程；双目视觉；空间位置信息；Delta机器人

机器人技术整合各领域的研究成果，有机集成各领域的技术优势，并且应用范围广泛,对现代化的新技术产业有着极其重要的引领作用[1]。工业机器人已经被广泛应用于汽车领域的焊接、喷漆、热处理、搬运、装配等作业,在码垛、食品和药品等领域，工业机器人正在逐步代替人工从事繁重枯燥和大量重复性的搬运、分拣、包装等作业。作为典型的机电一体化数字化装备，工业机器人已经成为衡量一个国家制造业水平和科技水平的重要标志[2]。

Delta机器人属于高速、轻载的并联机器人，有刚度大、承载能力强、动力性能好等特点[3],主要应用在电子、食品、医药等行业中进行快速分拣、包装等作业。在分拣作业中，由于散落在输送带上的目标物体位置一般是随机的，所以通常利用机器视觉技术首先对目标物进行定位，然后由机器人进行拾取。但现有大多数机器视觉系统为单目视觉系统，只能获取目标物体的二维平面位置信息，而物体的高度信息则无法测量，将目标物限制在必须拥有相同高度这个条件下，这并不符合柔性化生产方式的发展要求。

本文在结合现有机器人视觉识别方法的基础上，提出了一种基于LabVIEW与Matlab混合编程方式的双目立体视觉定位系统和测量方法，利用该定位系统及测量方法可以对输送带上的动态物体特征点实现定位及三维测量。

1 双目立体视觉技术

立体视觉技术是机器人技术研究中最为活跃的一个分支，是工业机器人智能化的重要标志[4]。双目立体视觉技术是通过两幅从不同视角获取的同一目标图像，通常经过图像采集、摄像机标定、特征提取、图像立体匹配、空间点重建5个步骤获得目标的三维信息，实现三维坐标定位和测量的目的。

双目立体视觉技术通过计算空间点在两幅图像中的视差获得该点的三维坐标值，工作原理如图1所示。

图1 双目视觉成像原理示意图Fig.1 Imaging principle sketch of binocular vision

假设一套理想的实验装置，镜头无畸变、两像平面ML，MR严格处于同一平面上、相机光轴严格平行且距离为定值等[5]。若将投影中心OL设为世界坐标原点，光轴与像平面交点分别为主点CL和CR，点P对应世界坐标为(XW，YW，ZW)，两像平面成像点PL和PR相对各自主点的坐标分别为(xL，yL)和(xR，yR)，焦距均为f，基线距离为B，则由相似三角形易得

(1)

同时易得

(2)

(3)

这样点P相对于OL的空间三维坐标值就可以唯一确定。

但在实际应用中，如图2所示，无法保证成像平面的严格共面和光轴严格平行等条件成立，故一般需要在应用前首先对双目视觉系统进行标定，最终可以通过去除畸变、旋转和平移等手段矫正统一系统坐标系，实现相机在数学上的对准同一成像面[6-11]，便于后期运算。

图2 实际双目视觉成像示意图Fig.2 Practical imaging sketch of binocular vision

2 构建测量系统平台

测量系统平台由双目立体视觉测量软件系统和硬件系统构成。软件系统包括双目立体视觉图像采集软件和双目立体视觉图像处理软件，可以在互动式人机界面下实现系统参数标定、图像实时采集、目标识别、数据处理的功能；硬件系统包括2个通过以太网通信的彩色工业相机、2个白色LED条形光源、1个光电传感设备、1条输送设备，能够实现物体的匀速运动和相机的外部硬件触发，捕获到目标物清晰的图像。

2.1 图像采集软件

图像采集软件利用由美国NI公司研制的LabVIEW进行开发，LabVIEW拥有图形化编辑语言、大量与传统仪器仪表外观相似的控件以及庞大的函数库[12-13]，这些都十分方便地创建一个美观有效的用户界面，同时可并行处理的程序运行方式为双目视觉图像采集的同步性提供了必要保证。

LabVIEW图像采集程序流程图如图3所示，该程序共包含8个子VI，其中相机设置VI通过将相应值赋给IMAQdx属性节点中对应的项[14]，配置相机的触发方式及触发条件；本测量系统结合外部光电传感设备实现相机的外部硬件触发；照片保存设置VI将捕获的照片以系统时间加相机名称的格式保存至指定路径下，图片可保存为BMP，JPEG，PNG等格式；最终图像以引用句柄型式输出，便于后期图像处理调用。通过程序前面板可以对单个相机的曝光时间、数据包大小进行设置，并可以实时读取相机的帧率。实验证明，2个相机拍摄的时间差不超过3 ms，可以满足常见速度下动态物体的测量。

图3 基于LabVIEW图像采集程序Fig.3 Image acquisition program based on LabVIEW

2.2 图像处理软件

图像处理软件基于LabVIEW和Matlab混合编程技术开发，实现LabVIEW和Matlab混合编程主要有3种方法[15-16]：利用LabVIEW的Matlab脚本功能模块；利用COM组件调用Matlab算法；利用LabVIEW调用动态链接库。方法1中，可以在LabVIEW的Matlab Script节点中直接编辑调用Matlab命令，易于操作，但必须保持Matlab进程始终处于运行状态；方法2可以脱离Matlab运行环境，效率较高，但是比较繁琐，适用于大型系统设计[17];方法3会造成Matlab图像处理中的一些功能无法使用。综上，针对本系统的特性，选择调用LabVIEW中Matlab脚本模块实现混合编程，既可以实现较好的人机界面设计，同时也可以满足图像处理的可靠性。

在进行图像处理前需要对双目相机进行标定，利用Matlab工具箱中立体标定工具可以较好地完成标定工作，将标定参数保存为MAT格式，方便后期调用。

测试实验用已知固定高度的圆形目标物作为识别对象，如图4所示程序流程图，通过Matlab Script调用双目相机标定参数对双目图像进行矫正等处理，实现目标物的边缘检测、尺寸大小、中心定位以及物体中心世界坐标的测量。

图4 基于LabVIEW Matlab Script图像 处理程序Fig.4 Image processing program based on LabVIEW Matlab Scrip

2.3 硬件系统

为了增加测量系统的通用性及可靠性，该系统中图像信息通过以太网传输，光电传感设备用于实现相机的硬件外部触发，可以有效保证双目相机捕获图像的同步性。相机采集图片分辨率为2 590×1 942，最高采集速率为14 帧/s，可以满足系统测量要求。LED辅助光源能够克服环境光干扰,保证图像的稳定性，降低了图像处理的算法难度。由伺服电机驱动的输送带设备可以保证物体匀速运动。

相机视场大小为256 mm×192 mm，相机工作距离为550 mm，因此相机能够检测到的最小特征尺寸(2个像素可表达的实际视场图像)约为0.197 7 mm，从硬件性能上能够保证本测量系统拥有较高精度。

3 测试实验及数据分析

为了验证测量系统和测试方法结果的可靠性，进行了2组实验检测。

实验1，分别对放置在同一起始位置的4种不同高度目标物体进行了三维坐标的测量，每个高度下的双目图像经过数据处理后如图5和图6所示,图像处理软件可以较好地捕捉到目标物体边缘，即使在视野内目标物体不完整的情况下依然能够较为准确地实现边缘识别，为准确地计算出物体中心位置和尺寸参数提供了有效保证。

图5 高度Ⅰ和高度Ⅱ物体处理后双目图像Fig.5 Processed binocular images of objects at heightⅠand height Ⅱ

图6 高度Ⅲ和高度Ⅳ物体处理后双目图像Fig.6 Processed binocular images of objects at height Ⅲ and height Ⅳ

目标物高度位置Ⅰ世界坐标XW/mm误差/mmYW/mm误差/mmZW/mm误差/mm位置Ⅱ世界坐标XW/mm误差/mmYW/mm误差/mmZW/mm误差/mmHeightⅠ-8．680．11-6．210．16550．95-0．1431．771．17-48．850．20552．060．97HeightⅡ-8．140．43-6．270．10528．71-0．1832．560．38-49．380．33530．711．82HeightⅢ-8．640．07-6．410．04506．41-0．2833．330．39-48．960．10508．481．79HeightⅣ-8．810．24-6．580．21484．05-0．4434．101．16-49．030．02486．692．20∑Xi/N-8．750．21-6．370．13573．29-0．2632．940．78-49．050．16573．291．70标准差S0．290．180．391．100．252．25目标物高度位置Ⅲ世界坐标XW/mm误差/mmYW/mm误差/mmZW/mm误差/mm位置Ⅳ世界坐标XW/mm误差/mmYW/mm误差/mmZW/mm误差/mmHeightⅠ73．991．9933．180．52553．452．3699．822．23-71．970．62557．936．84HeightⅡ75．020．9533．010．35531．652．76101．570．48-72．460．13535．716．82HeightⅢ76．610．6432．490．17509．372．68102．820．77-72．600．01514．507．81HeightⅣ78．282．3131．970．69486．962．47103．981．94-73．320．73493．418．92∑Xi/N75．981．4732．660．43573．292．57102．051．35-72．590．37573．297．60标准差S2．060．603．321．950．609．86

从表1中可以看出，随着距离d的增大，坐标XW和YW相对误差变化并不明显，可以实现这2个坐标方向上的准确定位，但是ZW的相对误差亦随之增大。参考式(1)可知，焦距f和基线距离B为定值，则ZW与xL和xR有关，随着距离d的增加，由于镜头透镜会在成像平面的边缘产生畸变，导致xL和xR偏离理论值增大，进而使得ZW的相对误差变大。本系统中的系统误差主要来自于相机标定过程中产生的标定误差和镜头畸变产生的误差，而后者是系统误差的主要来源。考虑到径向畸变是镜头畸变的主要形式，故对其进行矫正，通过相机标定后可得式(4)—式(7)。

xL(corrected)=xL(1-0.202 3r2+0.057r4),

(4)

yL(corrected)=yL(1-0.202 3r2+0.057r4),

(5)

xR(corrected)=xR(1-0.170 1r2+0.043r4),

(6)

yR(corrected)=yR(1-0.170 1r2+0.043r4),

(7)

表2 图像径向畸变矫正后中心点ZW坐标测量数据

4 结 语

1)研究设计了一套基于双目立体视觉技术获取运动物体三维坐标的测量系统，该系统主要包括基于LabVIEW开发的图像采集软件、基于LabVIEW与Matlab混合编程技术开发的图像处理软件、高分辨率工业相机、光源、光电传感设备和伺服电机驱动的输送设备，能够较稳定地实现目标物边缘检测、尺寸检测和中心点三维坐标的测量，为Delta机器人实现准确、快速拾取不同高度目标物提供了一个有效的解决方法。

2)对基于双目立体视觉技术获取运动物体三维坐标测量系统的测试数据结果进行了分析，分析认为，由于镜头成像畸变，处于图像边缘的物体中心点高度坐标的测量相对误差较大，经过对图像径向畸变矫正后，可以将高度坐标测量相对误差减小至4 mm以内。

[1] 徐扬生.智能机器人引领高新技术发展[N].科学时报,2010-08-12(1).

[2] 王田苗, 陶永.我国工业机器人技术现状与产业化发展战略[J].机械工程学报, 2014, 50(9): 1-13. WANG Tianmiao, TAO Yong. Research status and industrialization development strategy of Chinese industrial robot[J]. Journal of Mechanical Engineering，2014, 50(9): 1-13.

[3] 冯李航,张为公,龚宗洋,等. Delta系列并联机器人研究进展与现状[J]. 机器人, 2014, 36(3): 375-384. FENG Lihang, ZHANG Weigong, GONG Zongyang, et al. Developments of Delta-like parallel manipulators: A review[J]. Robot, 2014, 36(3): 375-384.

[4] 林琳. 机器人双目视觉定位技术研究[D]. 西安:西安电子科技大学, 2009. LIN Lin. The Research of Visual Positioning Technology on the Binocular Robot[D]. Xi’an: Xidian University, 2009.

[5] BRADSKI G,KAEHLER A. 学习OpenCV[M]. 于仕琪, 刘瑞祯，译.北京:清华大学出版社, 2009.

[6] TSAI R Y. An efficient and accurate camera calibration technique for 3D machine vision[J]. Proceedings of IEEE Conference of Computer Vision and Pattern Recognition, 1986, 10(3):364-374.

[7] 张蓬, 王金磊, 赵弘. 机器人双目立体视觉测距技术研究与实现[J].计算机测量与控制, 2013, 21(7): 1775-1778. ZHANG Peng, WANG Jinlei, ZHAO Hong. Research and implementation of robotic binocular visual distance measuring technology[J]. Computer Measurement & Control, 2013, 21(7): 1775-1778.

[8] 石继雨. 机器人双目立体视觉技术研究[D]. 哈尔滨:哈尔滨工程大学,2003. SHI Jiyu, Research on Robot Binocular Stereo Vision[D]. Harbin: Harbin Engineering University, 2003.

[9] 孙凤连. 机器人双目视觉系统的三维测量方法[D].广州:广东工业大学, 2015. SUN Fenglian. The 3D Measurement Method of Binocular Vision System of Robot[D].Guangzhou: Guangdong University of Technology, 2015.

[10]王殿君. 双目视觉在移动机器人定位中的应用[J].中国机械工程, 2013, 24(9): 1155-1158. WANG Dianjun. Application on binocular vision system of a mobile robot[J]. China Mechanical Engineering, 2013, 24(9): 1155-1158.

[11]陈熙引.基于双目视觉的机器人焊缝识别及轨迹规划研究[D].广州:华南理工大学,2014. CHEN Xiyin. Research on Seam Recognition and Path Planning of Robot Based on Binocular Vision[D].Guangzhou: South China University of Technology,2014.

[12]阮奇桢.我和LabVIEW:一个NI工程师的十年编程经验 [M]. 2版.北京:北京航空航天大学出版社,2012.

[13]陈树学，刘萱. LabVIEW宝典[M].北京:电子工业出版社,2011.

[14]唐颖. 基于线形光源扫描照明的激光散斑衬比血流成像系统研究[D].武汉:华中科技大学, 2013. TANG Ying. Laser Speckle Contrast Blood Flow Imaging System Based on Scanning Line Beam Illumination[D].Wuhan: Huazhong University of Science & Technology, 2013.

[15]徐何, 李滔, 李勇. Matlab与LabVIEW混合编程方法应用研究[J]. 科学技术与工程, 2010， 10(33):8267-8271. XU He, LI Tao, LI Yong. Research and application of Matlab and LabVIEW mixed programming[J]. Science Technology and Engineering, 2010, 10(33):8267-8271.

[16]徐峰,何黎明, 田作华. 基于数据库的LabVIEW与Matlab混合编程及其实现[J]. 测控技术, 2007, 26(2): 70-72. XU Feng, HE Liming, TIAN Zuohua. Formulation optimization with Matlab and LabVIEW based on database[J].Measurement & Control Technology, 2007, 26(2):70-72.

[17]姚世锋, 薛德庆, 张彦斌,等. LabVIEW与Matlab的混合编程[J].兵工自动化, 2005, 24(6):111-112. YAO Shifeng, XUE Deqing, ZHANG Yanbin, et al. Method of hybrid programming with LabVIEW and Matlab[J]. Ordnance Industry Automation, 2005, 24(6):111-112.

Research on measurement method of spatial position information of moving objects based on binocular stereo vision technology

SUN Ruixuan, DONG Hao, XIAO Lei, ZHANG Tianlong

(Hebei Automation Research Institute, Shijiazhuang, Hebei 050081, China)

In order to make Delta robots rapidly and precisely pick objects with various heights which random appears in different locations of the conveyor belt, a measurement system is developed for getting the spatial position information of moving objects. The system realizes precisely measurement of the spatial position information of moving objects by using hybrid programming technology of LabVIEW and Matlab, combined with binocular stereo vision technology, image processing technology and photoelectric sensing equipment. The measurement method and test data of this measurement system are obtained and analyzed, and the detection data shows that after image radial distortion correction, the data of spatial position information obtained by the system and method has little relative error.

industrial robot technology; hybrid programming; binocular stereo vision; spatial position information; Delta robot

1008-1534(2017)01-0030-06

2016-09-14;

2016-11-28；责任编辑：陈书欣

河北省科技计划项目(16291807D)

孙瑞轩(1987—)，男，河北石家庄人，助理工程师，硕士，主要从事机器视觉、机器人控制、机电一体化方面的研究。

E-mail：srx313@163.com

TP242.2

A

10.7535/hbgykj.2017yx01006

孙瑞轩，董 浩，肖 磊，等.基于双目立体视觉技术的运动物体空间位置信息测量方法研究 [J].河北工业科技,2017,34(1):30-35. SUN Ruixuan, DONG Hao, XIAO Lei, et al.Research on measurement method of spatial position information of moving objects based on binocular stereo vision technology[J].Hebei Journal of Industrial Science and Technology,2017,34(1):30-35.