程进，徐乃涛，郁伟俊

1.西安工业大学 光电工程学院，陕西 西安 710016

2.无锡微视传感科技有限公司，江苏 无锡 214192

0 引言

随着科技的创新与发展，机器人作为人工智能技术的重要代表之一在人类生活和工业生产中扮演着重要的角色。机器人的广泛应用正在大力改变人类的生产和生活方式，并为社会经济的发展注入强劲动力。其中焊接机器人是工业机器人领域的重要分支之一，已被广泛应用于现代加工制造领域中。焊接机器人的应用有效提高了焊接生产效率，降低对焊工的技能要求，具有良好的稳定性［1-2］。

目前市面上在规模应用的焊接机器人产品有三类［3］：第一类焊接机器人是基于示教再现技术的机器人［4］，通过示教编程实现焊接轨迹的控制，实现了柔性化和自动化，但由于示教编程难度大、效率低下，并且无法适应多规格的焊件，因此其应用和发展受到限制。第二类焊接机器人具备感知能力，可根据外界环境条件的变化修正路径或焊接参数，确保良好的焊接质量［5］。第三类智能焊接机器人在感知的基础上，还具有识别、推理、判断和决策的能力，能自主适应外部环境变化并完成更加复杂的动作［6］。视觉传感技术赋能智能焊接自动化技术，可以检测焊缝的形状、尺寸、位置和焊接质量。所以基于视觉传感的焊缝识别、焊缝跟踪、焊缝检测技术显得尤为重要，能使焊接机器人实现更加智能的柔性化焊接工作［7-8］。这是提高焊接自动化水平的重要手段，也是当前学术界与产业界的研究热点。

近年来，随着计算机视觉技术的发展，焊接视觉技术也取得了很大的进步，市场上也出现了多种类型的专用焊接机器人工作站。本文对近年来各类可应用于焊接的视觉传感技术进行了分类描述，并对其在焊接领域应用的优缺点进行总结。

1 智能焊接机器人工作站

智能焊接机器人工作站是一种具有自动焊接功能的机器人系统［9］，它可以实现自动焊接、自动检测、自动控制等功能，具有减少人工操作、提高焊接质量和生产效率等优势。它可以实现多种焊接方法［10］，如氩弧焊接、电阻焊接、气体保护焊接等。

1.1 系统组成

典型的焊接工作站构成通常包含视觉传感器、机械臂、机械臂控制器、焊枪、焊机系统及操作系统等［11］，如图1所示。焊接操作系统通过视觉传感器获取被焊工件的焊缝信息，识别焊缝轨迹信息传递给机械臂控制器，并控制末端焊枪完成焊接工作。

图1 智能焊接机器人工作站［9，11］Fig.1 Schematic diagram of intelligent welding robot workstation［9，11］

1.2 视觉传感搭载方式

焊接机器人的视觉系统分为固定场景视觉系统和运动的“手-眼”视觉系统。手眼视觉系统由视觉传感器和机器人手部末端组成［12-13］，根据其相互位置不同可分为“眼在手上”（Eye-in-Hand）系统和“眼在手外”（Eye-to-Hand）系统，如图2所示。视觉传感器安装在机器人手部末端的位置，视觉视野随着机器臂一起运动的安装方式称为Eye-in-Hand系统；视觉传感器被安装在机器臂本体以外的固定位置，视觉视野固定不动的安装方式称为Eye-to-Hand系统。由于Eye-in-Hand系统在实际应用时，机械手末端通常与被测目标距离较近，视觉传感的测量误差也相对较小，所以该安装方式被广泛应用于焊接机器人领域。该系统能够实时跟踪物体的位置，并根据图像信息快速准确地标定被测物体的坐标，从而更好地控制机器人的运动，有效地提高焊接机器人的轨迹精度和准确性，但此类场景对视觉系统的体积和重量要求较高。

图2 视觉传感搭载方式Fig.2 Mounting method of visual sensing

2 焊接视觉传感技术

目前获取物体三维信息的光电技术有很多，如双目视觉［16］、DOE-3D相机［17］、TOF-3D相机［18］、激光线轮廓仪［19］、面结构光相机［20］等。这些技术以成像照明的方式来区分，可被归纳为主动和被动三维视觉传感两类。第一类主动三维视觉传感技术［21］是主动照明装置将结构光图案投射至被测物体表面，通过相机获取被物体调制后的图案，再利用三维重建算法计算出物体的三维点云数据；第二类被动视觉传感［21］则是仅利用单目或多目相机获取被测物体的真实图像，通过标定技术建立相机与物体的相对坐标关系，从而计算出被测物体表面的三维点云数据［22］。由于主动三维视觉传感不依赖于被测物的表面特征信息，其精度和可靠性较高，因此广泛应用于机器人焊接领域。主动三维视觉传感根据结构光的类型，通常分为点结构光、线结构光、面结构光。焊接应用对视觉传感的精度要求较高，通常需要综合精度在亚毫米量级，本文对当前主流的焊接视觉传感技术进行了分类，分别对线、点扫、多线、面结构光法进行详细描述。

2.1 线结构光法

典型线结构光的三维传感系统主要由线结构光光源、相机、运算单元组成，如图3所示。在焊接视觉领域为了满足大测量景深的需求，通常采用萨姆镜头，如图4所示，在光学成像系统中，入射光线、像面和透镜主轴面交汇于同一点。该光学系统的物点（A、B）与像点（A′、B′）的关系是恒定的映射关系，通过相机标定技术可准确地将像面上的激光条纹的二维信息转换为空间中的三维坐标信息［23］。

图4 垂直入射式光路原理Fig.4 Schematic diagram of light path

线结构光技术的硬件结构比较简单，其精度高度依赖于激光条纹中心提取算法的精度。常规的激光条纹中心提取算法［24］有重心法［25］、质心法［26］、边缘法［27］、阈值法［28］等。在实际应用过程中的环境较为复杂，常规算法往往不能保障测量精度，国内外学者对其进行了大量研究，提出了很多激光条纹中心提取的改进算法。如周富强［29］等人提出结合图像的阈值化和膨胀算法，自动分割出结构光条所在区域作为光条提取的ROI，利用高斯卷积递归实现获得ROI内光条纹各点的Hessian矩阵，并确定光条纹各点的法线方向，最后在法线方向利用泰勒级数展开求得ROI内光条纹中心的亚像素图像坐标；郭雁蓉［30］等人提出一种多尺度卷积并行的方式，利用端到端深度学习方法提取线结构光中心；崔希君［31］等人根据系统量传递理论，建立了线结构光截面强度的偏态分布分析模型，采用一种基于重心法的自适应迭代算法来提取光刀中心位置。

线结构光技术拥有较高的测量精度和抗光性，通常可被应用于焊缝跟踪视觉、焊缝寻位和焊缝检测等场景，代表产品有基恩士公司的LJ-V7000系列、Servo-Robot公司［32］的视觉系列产品（见图5）等。由于线结构光法中的成像探测器都是面阵型的，当线结构光照射在被磨削过的金属板表面时，会产生强烈的二次反射干扰光，这些干扰光同样会被探测器捕获，但此时算法并不能准确地识别出有效光条信息，从而导致后续的点云处理失败［33-34］。为克服上述问题，一些研究者提出了基于点结构光扫描法的方案来满足工业应用。

图5 线结构光相机（Servo-Robot） ［32］Fig.5 Picture of the line structured light camera （Servo-Robot） ［32］

2.2 点结构光扫描法

点结构光扫描法［22］是基于点结构光视觉测量原理，将“点”激光投射至被测物体上，利用相机获取光点图像，并结合相机与激光器的位置关系和标定，确定光点在空间中的唯一三维坐标。此时结合一维扫描机构（如MEMS微镜扫描器），将点光束呈“一”字线扫开，便可获取被测工件的轮廓信息，如图6所示，与线结构光法相比，点结构光扫描法的光束集中于一点，因此信噪比更好，抗反光能力更强，适用于多层多道的焊接应用场景。

图6 点结构光扫描的工作原理［22］Fig.6 Principle of point structured light scanning［22］

点结构光扫描技术的产品，其结构相对复杂，扫描的精度直接影响成像精度，但其通用性更好，尤其在高亮被测件表面适应性更强，适用于各种焊缝的视觉跟踪、焊缝寻位和焊缝检测等场景，代表产品有Meta VS公司的Meta's Smart Laser Pilot等。

点结构光扫描法和线结构光法都只能获取一条线（二维）的数据，需要依靠外部轴搭载相机对被测物件进行扫描才能获取三维数据，并且扫描复杂曲面和异型工件时会出现误差。为提高采集效率和精度，多线结构光法和面结构光法应运而生。

2.3 多线结构光法

多线结构光法［35］可以简单理解为扩展了线结构光系统中的线结构光数量。理论上，在相机视野能观测的范围内可以将线结构光扩展至任意数量。由于被测物体表面形态是未知且复杂的，多条激光条纹在像面上会存在交错问题，从而导致重建失败。为解决该问题，采用双目视觉与多线结构光相结合，通过双目匹配算法可解决光平面交错问题。通过双目相机同时采集多条结构光的激光条纹图像，并利用对极几何关系确定像素点所属的光平面，如图7所示，从而计算其对应的三维空间坐标。

图7 多线结构光的工作原理［35］Fig.7 Principle of multi-line structured light［35］

多线结构光扫描系统主要由激光器、投影透镜、相机、计算机等构成［35］，具有实时性和高精度的特点，能够快速获取物体的三维几何形态和纹理信息。该技术适用于各种焊缝类型的焊缝质量检测等场景，代表产品有Hexagon公司的Rigel-Scan Ultra、Zeiss公司的T-Scan hawk2等。与线结构光法和点结构光扫描法相比，多线结构光法能够更加准确地捕捉到物体表面的形状信息，并且由于多条光线在同一时间内投射，因此可以大大提高扫描效率。但线结构光法中线条数量决定被测面的采集分辨率，进而导致在检测一些形貌较复杂的工件时会出现误判。

2.4 面结构光法

面结构光［36］三维测量技术大多数是基于相位测量轮廓术，广泛应用于高精度的物体表面三维形貌测量，其系统结构如图8所示，主要由面结构光投影仪、相机、计算单元组成。结构光投影仪向被测物表面投射N张已知编码策略的面结构光图案（正弦条纹，如图9所示），通过成像传感器采集被测物体表面调制后的结构光条纹图，再利用解调算法获取待测物体形貌的相位图，最后基于相位与物体高度信息的映射关系重建出焊件表面的三维形貌。

图8 面结构光的工作原理［36］Fig.8 Principle of surface structured light［36］

图9 正弦光栅结构光图案Fig.9 Fingers pattern

面结构光法不受被测物体自身的颜色属性和纹理特征影响，该方法具有较高的重建鲁棒性，并可以达到较高测量的精度，可用于不同材质和形状的物体表面三维形貌测量和重建。但是，在强光下结构光图形会被环境光淹没，不适合室外使用。

通常被用于焊接视觉的面结构光光源有DLP投影技术和MEMS Scanner投影技术，这两类投影技术被广泛应用于三维测量，其基本结构及实物如图10所示。DLP投影模块主要包含LED光源、光学积分棒、光束整形透镜组、DLP芯片、出瞳镜头组，MEMS Scanner结构光投影模块主要包含激光光源、透镜组、MEMS微镜芯片，从结构复杂程度上进行对比，不难发现DLP结构光的结构较为复杂，增加了硬件平台的复杂度、体积和成本，而MEMS Scanner结构光投影技术在这方面具有显著的优势。

图10 DLP结构光和MEMS Scanner结构光的原理及实物Fig.10 Principle and actual picture of DLP structured light and MEMS Scanner structured light

在Eye-in-hand系统中，搭载的焊接视觉系统越小，焊接机器人的灵活度就越高，所以MEMS Scanner投影技术更适用于对灵活度要求较高的焊接寻位场景，代表产品有Intel公司的RealSense-SR300、微视传感公司的VSensor-PDN0700［39］等；DLP投影技术更适用对灵活度要求较低、精度要求更高的焊缝检测场景，代表产品有LMI公司的COCATOR3520、GOM公司的Scan1等。

从目前焊接机器人工作站实际应用情况对比，各类结构光视觉传感技术的优劣特点如表1所示。主动结构光技术有着较高的测量精度成为焊接视觉传感的首选方案，各类结构光技术有着不同的特点。点结构光扫描法在抗反光能力与抗环境光能力均占有优势，但其成本较高；线结构光法在采集帧率、功耗、体积及成本上具有较强优势，面结构光法（MEMS Scanner）在数据维度、点云分辨率、功耗、体积及成本上具有显著优势，但两者的抗反光能力较弱；多线结构光法从各项参数来看较为平庸，所以在实际焊接机器人的落地场景中应用较少。

表1 各类结构光视觉传感技术比较［40-45］Table 1 Comparison of various structured light vision sensing technologies［40-45］

3 焊接视觉软件系统

具备焊接视觉传感器硬件单元，就可以准确获取到被焊工具的二维或三维点云坐标信息，此时需要配合焊接视觉软件系统，才能完成焊缝检测、形态识别、焊接路径规划等功能［46-50］。一般来说，焊接视觉软件系统包含了诸多的算法模块，可实现焊接自动化功能。对于焊缝检测与路径规划，软件系统通常能够根据焊接部位和焊接类型自动检测出焊缝的位置和宽度，再根据不同类型的焊接任务和工件形状，对机器人进行高效的路径规划和轨迹跟踪，从而实现更加稳定和高质量的焊接过程。

很多企业开发了多种类的焊接视觉专用软件系统，如加拿大赛融公司［51］的用于机器人焊接的3D激光视觉系统MICRO-TRACTM、焊缝检测系统i-FACT-MICROTM；日本发那科公司的双机激光跟踪焊接系统［52］，根据不同的工作机器人采用了不同寻位或者定位技术，如视觉定位系统、激光跟踪等功能；中国昆山华恒公司的机器人全自动管板焊接系统［52］，运用数字化技术、视觉技术、控制技术和焊接工艺融合打造的智能化焊接装备，可用于全面取代换热器管板的人工焊或半自动焊接。这些软件系统可以根据不同的应用场景进行定制和优化，可提高焊接质量和效率。但由于软件系统的智能程度偏低、自适应较差，使其还未能在实际焊接生产中得到普遍应用，往往只能适用于某单一应用场景。

4 结论及展望

本文阐述了智能焊接机器人工作站系统的构造、视觉传感的搭载方式及各类视觉传感技术在焊缝寻位、焊缝跟踪、焊接质量检测等方面的工作原理。对当前主流的线结构光法、点结构光扫描法、多线结构光法和面结构光法分别进行了详细的描述。线结构光法和点结构光扫描法在抗环境光方面有较强的优势，面结构光法在体积和成本方面有较强的优势，实际应用时需要考虑焊接过程要求、焊接工艺类型、实时性、成本和可靠性，综合考虑多种因素做出匹配。

焊接视觉技术在现代制造业中具有重要作用，可以帮助企业更好地控制焊接质量，提高生产效率，降低生产成本。随着智能化和自动化技术的需求不断提高，焊接机器人智能化、多样化和适应各种复杂环境的需求也随之凸显，目前尚未存在一种单一技术可全场景适用的焊接视觉传感器，焊接视觉传感技术还存在一些局限性和挑战。例如，不同焊接场景和材料的特性不同，需要不同类型的传感器和监测技术来适应，同时焊接过程中的光照和烟雾等环境因素也会对传感器的性能产生影响，需要进行相应的环境适应。针对这些挑战，研究人员需要不断探索和研发新的焊接视觉传感器技术，例如针对特定焊接场景和材料的多传感器融合技术、深度学习技术、焊接质量可视化技术等，以应对不同的焊接需求和环境。

（1）多视觉传感器融合技术。通过将多种类视觉传感器的数据进行多维信息融合，实现对焊接工艺过程中的多个参数的监测和控制，提高焊接质量和效率。

（2）深度学习技术的应用。利用深度学习技术通过大量的焊接图像数据进行训练，实现对焊缝、焊接缺陷的自动检测和分类，提高焊接质量和效率。

（3）焊接质量可视化。通过将焊接过程的数据进行可视化，可以更加直观地了解焊接质量状况，及时发现和解决问题，提高焊接质量和效率。

同时，也需要加强对焊接视觉传感技术的标准化和规范化，以确保传感器的性能和可靠性，为其在实际应用中提供更好的支持和保障。焊接视觉传感技术的发展将会在制造业中扮演越来越重要的角色，为制造业的发展和升级提供支撑。