陈汉 任杰亮 闫帅 石晓鹏 李志勇

摘要：随着现代智能制造的快速发展，金属增材制造、绿色再制造、焊接等领域大量使用机器人等自动化装备，视觉传感是机器人智能制造的关键环节。针对上述需求设计了一套基于线结构光的视觉传感器，并对其进行标定，自主开发了用于机器人激光增材制造的机器视觉系统。该系统通过Matlab相机标定工具包实现相机的内外参数标定，利用Labview编程提取出像素坐标，根据最小二乘法拟合出相机坐标系下的光平面方程，实现像素坐标到光平面坐标的转换，最后针对视觉传感器与机器人的“Eye-in-Hand”系统实现手眼标定，完成像素坐标到机器人三维基坐标的转换。实验结果表明，开发的视觉传感器具有较高的定位精度，各方向平均误差仅为1 mm。

关键词：增材制造;机器视觉;线结构光;手眼标定

中图分类号： TG665      文献标识码： A文章编号：1001-2303（2022）02-0036-06

Laser Additive Manufacturing Machine Vision System Development

CHEN Han， REN Jieliang， YAN Shuai， SHI Xiaopeng， LI ZhiyongSchool of Materials Science and Engineering， North University of China， Taiyuan 030051， China

Abstract： With the rapid development of modern intelligent manufacturing， Robots and other automation equipment are widely used in metal additive manufacturing， green remanufacturing， welding and other fields. Visual sensing is a key link in robot intelligent manufacturing. This article addresses the above requirements， Designed and calibrated a set of vision sen‐ sors based on laser structured light， and independently developed a machine vision system for the robotic laser additive manufacturing process. This method realizes the internal and external parameter calibration of the camera through the Mat‐ lab camera calibration toolkit， uses Labview programming to extract the pixel coordinates， fits the laser plane equation in the camera coordinate system according to the least square method， and realizes the conversion from pixel coordinates to laser plane coordinates. Finally， the "Eye-in-Hand" system of the vision sensor and the robot realizes hand-eye calibration， and ob‐ tains the conversion of pixel coordinates to the three-dimensional base coordinates of the robot. Experiments show that the developed vision sensor has high positioning accuracy.

Keywords： additive manufacturing; machine vision; line structured light; Eye-in-Hand calibration

引用格式：陳汉，任杰亮，闫帅，等.面向机器人激光增材制造的机器视觉系统标定算法[J].电焊机，2022，52（2）：36-41.           Citation：CHEN Han， REN Jieliang， YAN Shuai， et al. Laser Additive Manufacturing Machine Vision System Development[J]. Electric Welding Ma‐ chine， 2022， 52（2）：36-41.

0  前言

增材制造技术（Addictive Manufacturing，AM）[1]是一种基于离散分离原理，对三维模型进行分层切片，再通过添加材料快速制造实体零件的技术。按照热源能束的不同，可将金属增材制造技术分为激光、电弧和电子束三类[2]。激光增材制造技术（La‐ ser Addictive Manufacturing，LAM）[3]是以激光作为热源，金属粉末或丝材作为成型材料，惰性气体作为保护气的金属增材制造技术，在航天航空、汽车、电子、医疗、军工等领域得到了广泛应用[4-7]。LAM成型制品质量与激光功率、工艺设计和焊接路径规划有密不可分的关系。在实际操作过程中，任何环节的问题都可能使成型制品出现气孔、凹坑等缺陷。在增材制造“自下而上”的成型过程中，如果表面缺陷未被检出并及时处理，可能导致成型件报废。

视觉检测技术是精密测试技术领域中最具有发展潜力的新技术。视觉检测的基础在于相机的标定，现有的相机标定技术分为传统标定法、自标定法及主动视觉标定法。传统标定法中，Roger Ta‐ sai提出Tasai两步法[8]求解相机的内外参数，但需要标定参照物，且标定过程复杂;自标定方法中，典型的是基于Kruppa方程进行相机内外参数标定，但直接求解Kruppa方程[9]存在较大难度;主动视觉标定中，聂红梅和高磊分别以Opencv和Matlab为平台[10-11]，实现了张正友标定法[12]的相机标定程序，标定精度较高且鲁棒性较强。

本文针对激光增材制造过程中的成型制品表面形貌检测的需求，搭建了一个基于主动视觉标定法的单线结构光视觉检测系统，通过Matlab软件和Labiew软件编程实现相机内外参数的标定，并计算出激光增材制造制件表面的三维坐标信息，来验证该检测系统的精度，为后续激光增材制造闭环控制奠定基础。

1  激光增材制造视觉系统硬件与软件组成

1.1  硬件结构

激光增材制造视觉系统主要由线结构光视觉传感器[13-15]、运动控制柜、示教器以及工控机组成，视觉传感系统在空间中相对位置如图1所示，视觉传感器结构如图2所示。线结构光视觉传感器主要由单线结构光发射器和BASLER 黑白工业相机组成，相机以CMOS为感光元件，分辨率为5472 pixel×3648 pixel，采用焦距为12 mm 的镜头，最大光圈1.4。首先将线结构光视觉传感器置于工件正上方，相机垂直置于工件平面，线激光发射器与相机呈一固定夹角A，传感器与熔覆平台之间距离为H，使线结构光投射在熔覆件上，将工业相机采集的激光条纹图像信息和示教器记录的当前法兰盘位姿信息传输给计算机，最后结合工业相机标定的内外参数和传感器与机器人的手眼标定结果，将特征点三维位置信息传输给示教器，对数据进行分析后控制激光熔覆头进行缺陷修补。

1.2  系统软件

激光增材制造机器视觉系统软件主要包括Matlab、Labview2018和图像采集软件。Matalb软件主要进行相机内外参数的标定、机器人系统与视觉传感系统变换矩阵的计算;Labview则是对整个系统进行模块化设计，主要分为图像采集和数据分析模块，其中包含图像采集、特征提取、参数设置、基座坐标计算和系统介绍5个界面。通过采集图像界面获取目标图像，用户可以在特征提取界面中选择目标图像、设置灰度值阈值、提取结构光条纹的中心线（见图3a）;在参数设置界面中，可以编辑、保存Matlab标定好的相机内外参数（见图3b）;在基座坐标界面中，可以直接读取特征点基座坐标（见图3c）。

2  机器视觉系统标定算法

在整个检测系统中，所涉及的各个坐标系变换关系如图4所示。图中H1表示法兰盘末端坐标系与机器人基坐标系的变换矩阵;H2表示法兰盘末端坐标系与光平面坐标系的变换矩阵;H3表示相机坐标系与光平面坐标系的变换矩阵;H4表示世界坐标系与相机坐标系变换矩阵;XBYBZB 表示机器人的基坐标系;XFYFZF 表示机械臂末端法兰盘坐标系; XTYTZT 表示工具尖端坐标系;XCYCZC 表示相机坐标系; XWYWZW 为世界坐标系;为简化计算，相机原点在光平面上的投影点OC 为光平面坐标系原点，取相机Z轴某一点ZC（0，0，ZC），以 OCZC 在光平面的投影为Z轴，同理建立X轴、 Y轴， Y轴与光平面垂直，由此建立XLYLZL 光平面坐标系，且光平面坐标系中 Y轴值恒为0，从而降低了算法的复杂性。

2.1  相机内外参标定和光平面的标定

在Eye-in-Hand手眼标定之前，首先要确定相机的内外参数、相机坐标系与光平面坐标系变换矩阵 H3（见图4）。本文基于Matlab进行内外参数标定。Matlab是美国Mathwork公司开发的数学软件，具有完善的图像处理和机器视觉工具包。其中，像素坐標系与相机坐标系间的变换矩阵 H可由Matlab的 Camera Calibrator 工具包进行标定，可直接提取出相机的内参数和棋盘格标定板某个位姿的外参数。本文采用的是透视投影模型，根据透视投影法可知，像素坐标与相机坐标的变换关系需以光平面为约束条件，像素坐标与相机坐标的变换关系如式（1）所示。

式中ε=A（Sxc-CxSx）+B（Syr-CySy）+Cfδ;δ=k[（Sxc- CxSx）2+（Syr-CySy2）]+1，其中k为径向畸变，Sx为X方向的像元尺寸，Sy为 Y方向的像元尺寸，c为特征点X 方向像素坐标，r为特征点 Y方向像素坐标，Cx为图像坐标系原点在像素坐标系中X值，Cy为图像坐标系原点在像素坐标系中 Y值，这些参数为相机内参数，[A，B，C]为光平面系数。

计算光平面系数[A，B，C]，需已知某条直线的世界坐标点，根据交比不变性原理，已知直线和光平面交点为标定点的世界坐标P，Matlab标定所得外参即世界坐标系与相机坐标系变换关系H4i，调整标定板姿态重复5次，根据式（2）计算得出标定点相机坐标P，并采用最小二乘法拟合光平面方程A · Xc+B ·Yc+C·Zc-1=0的系数A、B、C。

式中[Xci，Yci，Zci]，[Xwi，Ywi，Zwi]分别为标定点的相机坐标和世界坐标，H4i为4×4的矩阵（i=1，2，3，4，5），实质为相机的外参数。

根据相机与光平面的投影关系建立光平面坐标系。根据式（2）相机坐标与光平面坐标映射关系计算可得相机坐标系与光平面坐标系的变换关

式中 PL、PC 分别表示特征点的光平面坐标和相机坐标。由此特征点的相机坐标转化为光平面坐标。

2.2   Eye-in-Hand手眼标定

工业6轴机器人手眼标定的实质是确定光平面坐标系到机械臂末端法兰盘坐标系的变换关系H2。由上一节可知，特征点的像素坐标以及对应的相机坐标，将相机坐标投影到对应的光平面坐标，再由手眼标定所得光平面坐标系与法兰盘坐标系的位姿H2和法兰盘相对于机器人底座的位姿H1（见图4），根据式（4）可得激光平面坐标到基坐标的变换关系。

联立式（3）和式（4）得到相机坐标到基坐标得变换关系为

式中PB 和PL 分别表示已知点基坐标和该点对应的光平面坐标;H3表示相机坐标系与光平面坐标系的位姿。 H1、H2、H3为4×4的矩阵。

Eye-in-Hand手眼标定步骤为：

（1）确定目标点的基坐标。将机器人坐标系调整为工具坐标系，操作示教器使机器人尖端与已知点P刚好接触，记录此时示教器中的位置信息，记作 PB （XB，YB，ZB）。

（2）确定目标点的光平面坐标。将工具坐标系切换至法兰盘坐标系，保持目标点P 固定，打开线激光器，移动机械臂使激光条纹正好经过点P，为使误差尽可能小，应使P点尽量位于激光条纹的中间点，然后相机在此位姿下采集图像。利用Labview提取出P点像素坐标，由式（1）转化为相机坐标，继而由2.1节中式（3）得到光平面坐标PL ，根据示教器确定此时的H1。

（3）变换位姿采集。保持P点不动，移动机器人以不同姿态重复步骤2，记录5组Pi L 和H1i（i=1，2，3，4，5），根据式（4）计算可得H2。

3  实验结果及分析

本文所采用线结构光视觉检测方法选用 BASLER黑白工业相机、iWorker六自由度工业机器人和角点间距为18 mm的棋盘标定板进行标定实验，由于Matlab存在完善的棋盘格标定包，且不存在偏心误差。介于现有条件，利用Matlab提取角点像素坐标，取标定板上O、A、B、C、D五个点如图5所示，相机内参数标定如表1所示，外参标定误差如表2所示。

根据表1、表2得出相机的内参数以及外参数在 X和 Y方向平均绝对误差：

由式（6）可知，相机标定的平均绝对误差小于0.1 mm，由于黑色对于光的吸收不均匀，角点位于黑白交界处，因此棋盘格角点坐标为亚像素坐标，影响角点的标定精度，可选用黑底白圆标定板并采用 Halcon 提高精度，但总体来说，外参标定精度较高。

通过改变标定板所在高度5次，采用2.1节标定方法，根据已知的标定点的相机坐标P 进行光平面拟合，得到光平面系数[A，B，C]=[-0.0143，0.0007，0.0046]，光平面拟合图如图6所示。根据Labview软件提取特征点像素坐标和上述所得标定参数，将像素坐标分别代入式（1）和式（5），所得基坐标结果基本满足定位要求，但计算结果仍存在一定误差。其原因为：（1）单线结构光与相机光轴角度太小产生标定误差;（2）机器人固有精度所带来的误差影响;（3）标定点坐标的肉眼提取带来的误差;（4）各方面误差累计影响计算结果。其中标定误差为主要原因。

4  结论

（1）通过线结构光视觉传感器系统对相机内外参数进行标定，使用Matlab软件 Camera Calibrator 工具包的标定方法，将外参数的平均绝对误差控制在0.1 mm以下。

（2）在激光熔覆头旁安装线结构光视觉系统，采用Matlab和Labview软件相结合的混合编程设计激光增材制造系统，根据图像采集和数据分析模块，从图像中提取出特征点的三维基坐标，以方便工业机器人进行对缺陷定位和修补。

（3）以光平面为参考平面，建立二维像素坐标与三维相机坐标的变换关系，简化算法的复杂程度，降低了设备成本，能够满足激光增材制造中的定位要求。

（4）本文基于单线激光开发的增材制造视觉检测系统，还可以进一步提高线结构光条纹中心的提取精度和鲁棒性，因此需要优化线结构中心提取算法，提高检测系统的三维坐标提取精度。

参考文献：

[1]杨强，鲁中良，黄福享，等.激光增材制造技术的研究现状及发展趋势[J].航空制造技术，2016（12）：26-31.

YANG  Qiang，LU Zhongliang，HUANG  Fuxiang，et al. Research on Status and Development Trend of Laser Additive Manufacturing[J]. Aeronautical Manufactur‐ ing Technology，2016（12）：26-31.

[2]邓俊豪.基于视觉传感的电弧增材成形形貌检测与预测建模研究[D].上海：上海交通大学，2019.

DENG Junhao. Research on Forming Information Ac‐ quisition and Prediction Modeling in Wire and Arc Ad‐ dictive  Manufacturing  Based  on  Vision  Sensing[D]. Shanghai：Shanghai JiaoTong University，2019.

[3]李友浩.基于線结构光的电弧增材制造熔积层形貌三维测量[D].湖北：华中科技大学，2016.

Li youhao. Deposition layers 3D Measurement of Arc- basedAddictive Manufacturing Baesd on Line-structured Light[D]. Hubei：Huazhong University of Science & Technology，2016.

[4] D. Buchbinderet al. High Power Selective Laser Melt‐ing（HP SLM）of Aluminum Parts[J]. Physics Proce‐ dia，2011（12）：271-278.

[5]Baufeld B.，O.V.D. Biest，et al.，Additive manufactur‐ing of Ti-6Al-4V components by shaped metal deposi‐ tion[J]. Microstructure and mechanical properties Ma‐ terials& Design，2010（31）：106-111.

[6]Murr L.E.，et al.，Fabrication of Metal and Alloy Com‐ponents by Additive Manufacturing：Examples of 3D Materials  Science[J]. Journal  of Materials  Research and Technology，2012，1（1）：42-54.

[7] Zhuang Zhao. Additive seam tracking technology basedon  laser  vision[J]. The  International  Journal  of Ad‐ vanced Manufacturing Technology，2021（25）：1-15.

[8] Tsai R Y. Versatile camera calibration techniqueforhigh-accuracy 3D machine vision  metrology  using  off-the- shelf TV cameras and lenses[J]. IEEE Journal of Ro‐ botics and Automation，1987，RA-3（4）：323-344.

[9]Faugeras O D，Luong Q T，Maybank S J. Camera self-calibration：Theory  and  experiments[C]. European conference on computer vision. Springer，Berlin，Hei‐ delberg，1992：321-334.

[10]聂红梅，刘忠艳.基于OpenCV的摄像机标定研究[J].微处理机，2017，38（06）：58-61.

NieHongmei，Liu  Zhongyan. Research  on  Camera  Calibration  Based  on  OpenCV[J]. Microprocessors，2017，38（06）：58-61.

[11]高磊，莫冰.摄像机标定系统的设计[J].电脑与电信，2017（12）：36-38.

GAO Lei MO Bing. Design of Camera Calibration Sys‐ tem[J].Computer & Telecommunication，2017（12）：36-38.

[12] ZHANG Z Y. A flexible new technique for camera cali‐bration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[13]陈涛.强噪声下的激光视觉焊缝跟踪系统研究[D].广东：华南理工大学，2020.

CHEN Tao. Research on Laser Vision Seam Tracking System  under  Strong  Background  Noise[D]. South China university of Technology，2020.

[14]龚国基.基于主动光视觉传感的焊缝自动跟踪系统研究[D].广东：华南理工大学，2016.

GONG  Guoji. Research  on  automatic  seam  tracking  system based on active vision sensor[D].Guangdong： South China university of Technology，2016.

[15]王研博.面向焊縫跟踪的线激光检测技术研究[D].广东：华南理工大学，2017.

WANG Yanbo. Reasearch on the Line Laser DetectionTechnology for Weld Seam Tracking[D]. Guangdong： South China university of Technology，2017.

编辑部网址：http：//www.71dhj.com