李康宁 徐良 杨海锋 崔辉 谷世伟 郑红彬

摘要： 激光焊接过程中出现等离子体、羽辉、声音、辐射光、电等信号，通过对这些信号进行研究并与焊接过程的稳定性及焊接缺陷进行关联，可以实现焊接质量的实时监测。对不同监测手段进行对比分析，复合传感器监测技术展现出监测信息丰富，焊接状态识别精确，焊接缺陷预测准确的优势。根据焊接过程质量监测系统复合的传感器种类，将复合传感技术分为多视觉传感器复合技术、多光学传感器复合技术、光学及视觉传感器复合技术、其他复合技术4类，综述了不同传感器复合技术的研究現状及特点，指出光学及视觉传感器复合技术对焊接状态变化敏感、采样速度快、采集信息丰富的优势。介绍了几种可以应用于激光焊接生产线的先进复合传感器监测产品，明晰了复合传感技术应用于激光焊接过程质量监测的问题及未来发展方向。

关键词： 激光焊； 复合传感技术； 实时监测

中图分类号： TG 409

Application of multi-sensor fusion technology in quality monitoring of laser welding process

Li Kangning， Xu Liang， Yang Haifeng， Cui Hui， Gu Shiwei， Zheng Hongbin

（HWI-NICHST Welding and Engineering Innovation Center（Qingdao）Co.， LTD.， Qingdao 266000， Shandong， China）

Abstract： Plasma， plume， sound， radiated light， electricity and other signals will appear in the laser welding process. By studying these signals and correlating them with the stability of the welding process and welding defects， real-time quality monitoring of laser welding process can be achieved. Through the introduction of laser welding characteristics and the comparative analysis of monitoring methods， it was concluded that the multi-sensor fusion technology had the advantages of rich monitoring information and high accuracy in welding status and defect prediction. According to the types of sensors compounded by quality monitoring system of laser welding process，the multi-sensor fusion technology was divided into four categories， multi-vision sensor， multi-optical sensor， optical and vision sensor， and other composite technology. Different multi-sensor fusion technologies were reviewed， realizing the advantages of optical and vision sensor composite technology that were sensitive to changes in welding status， fast sampling speed， and rich collection of information. Meanwhile， several advanced multi-sensor fusion products which could be applied to laser beam welding were introduced. Finally， the disadvantages and the future development direction of multi-sensor fusion technology were clarified.

Key words：   laser welding; multi-sensor fusion technology; real-time monitoring

*源文献：

李康宁， 徐良， 杨海锋， 等. 复合传感技术在激光焊接过程质量监测中的应用［J］.  焊接， 2022（5）： 36-42.

0 前言

激光焊是激光最先工业化应用的领域之一，与传统焊接方法相比，激光焊具有一系列的优点：激光可以聚焦到很小的区域，形成能量高度集中的高强度热源，高强度热源沿焊接接头快速扫描实现高速焊接，这样不仅可以获得极其细小的焊缝组织及较小的热影响区，还可以减小焊后变形，实现焊接部件尺寸的精确控制［1-3］。然而，激光的极小光斑同时也带来了接头安装和对中困难的问题，小的光斑不对中就有可能导致焊接条件大的变化，进而导致一系列焊接缺陷的产生［4-5］。此外，在实际生产过程中，即使严格按照焊接工艺规程进行生产，也难以确保不出现质量问题，因为工件表面质量、母材及焊材质量、激光束性能的稳定性等都可能导致焊接缺陷的产生［6］。因此，如何对激光焊接质量进行监测成为科研工作者的研究重点。

1 焊接过程中的监测手段

根据焊接过程中监测时段的不同，可以将焊接监测分为焊前监测、焊接过程中监测及焊后监测［7］。3种监测手段的对比见表1［8-9］。焊前监测无法反应焊接过程的稳定性及零部件焊后状态，而焊后监测则存在滞后性，发现缺陷往往为时已晚。采用焊接过程监测，并根据监测信号对焊接过程进行评判，进而及时发现不良焊接过程，减少焊后检测及返修工作量，是激光焊接实时监测的重要发展方向。

2 复合传感技術在试验室中的研究

复合传感器为激光焊接过程的监测提供了丰富的信息，将这些信息进行提取并复合处理，结合数据处理平台及系统的学习优化，即可实现激光焊接过程质量的实时监测。目前，科研工作者对传感器的复合研究主要分为以下几个方面。

2.1 多视觉传感器复合技术

激光及激光产生的等离子体等都是高亮度的发光体，采用单个视觉传感器无法准确获得熔池、匙孔、羽辉或等离子体等单个信号的特征，而通过多个带有某一特定频率的窄带滤光片的视觉传感器的组合使用，即可实现多个特征信号的同时采集［15］。此外，辅助光源的使用可以抑制光辐射及金属蒸汽的干扰，帮助获取清晰的熔池、匙孔、飞溅信息。在2011年举行的第30届国际激光大会上，Braun等人［16］展示了将近红外相机（可识别波长900～ 1 700 nm）与可见光相机（可识别波长350～750 nm）集成到激光头上，并通过辅助照明设备实现了对整个激光焊接过程的监测。该系统焊前可识别焊接位置，实现焊缝追踪；焊接过程中可对匙孔状态进行实时监测，以判断焊接状态；焊后可采集焊缝形貌以判断焊缝成形是否满足要求。焊接过程中采集的匙孔及熔池形貌如图2所示。

高向东教授团队［17-18］利用2个高速摄像机通过收集紫外和可视-红外波获取激光焊接过程中金属蒸汽、飞溅和熔池动态图像，对多传感特征参数进行信息融合处理，有效地反映并预测了焊缝宽度的变化。王煜［19］在高向东教授研究的基础上，应用配置红外-可见光滤波片的高速摄像机A及配置可见光滤波片的高速摄像机B对激光-MAG复合对接焊试验进行监测，通过获取焊接过程中正面金属蒸气和背部熔池的实时图像，利用图像处理提取背部匙孔特征信号，把焊接过程量化成4种熔透状态来评估焊接过程的稳定性，实现了对激光-MAG复合焊接典型焊接缺陷的预测，该系统结构如图3所示。

多视觉传感器复合技术具有采集信息丰富的特点，同时借助辅助光源的使用，可以实现焊缝追踪，匙孔、熔池等焊接特征信息的获取及咬边、飞溅、烧穿等焊接缺陷的识别。该技术获取的信息量大，依赖于图像识别处理技术及计算机运算能力，因此其设备投入大，采样频率低。此外，该系统依赖滤光镜片及系统的选择，滤光系统细微的变化即可导致输出结果的偏差。因此，该系统主要应用于各高校及科研院所的试验研究，而在工业生产领域应用较少。

2.2 多光学传感器复合技术

激光束与合金之间的相互作用使合金元素产生显著的汽化及电离，汽化与电离作用随合金成分的不同而不同。例如，当母材为不锈钢时，光谱可能含有铁、铬和锰；而当母材为铝合金时，光谱可能含有镁或锌［20］。将光谱信号和焊缝表面缺陷、气孔、裂纹和元素烧损率进行定量或定性关联，可实现焊接过程缺陷的实时表征。

胡艳萍［21］采用光谱仪对铝合金激光-电弧复合焊接的缺陷进行诊断，发现铝合金复合焊接光谱为包含9条金属谱线的第一主成分信号（F1信号）和包含10条氢原子谱线的第二主成分信号（F2信号），F1信号与铝合金焊缝气孔的形成密切相关。

除光谱信息外，激光焊接过程中还存在红外线、可见光、紫外线及激光反射波等多个光学信号［22］，通过对不同光学信号进行采集及复合处理，可实现对激光焊接过程的监测。研究表明［23-26］，红外和紫外信号的复合，对熔深监测较为准确，而激光反射信号可实时反应匙孔的尺寸特性。

江武志等人［27］采用双层光电传感器系统，分别采集金属蒸汽与熔池发射出的可见光与近红外光辐射信号（400～1 100 nm），发现金属蒸汽和熔池的光辐射有相似的频谱特征，频谱线波动程度与焊缝质量有明显关系，当出现飞溅、烧穿等缺陷时，频谱曲线出现多个峰值且变化较大。

Kawahito等人［28］通过将2个光电传感器复合到焊接头中，如图4所示，采集红外线信号强度（波长1 100～1 700 nm）及反射激光信号强度（波长1 090 nm），并将该信号与激光功率及焊缝宽度进行关联，成功实现了纯钛薄板搭接接头激光焊接过程中熔深的监测，并通过控制激光输出功率保证了不同焊接速度下纯钛薄板的熔深控制，这是从激光焊接过程质量实时监测到激光焊接过程自适应控制的重要进步。

多光学传感器复合技术所用设备体积小，成本低，且采样速度快，可实时反馈焊接状态的变化。但是该系统采集的数据是一维数据，包含的信息量少，且不同工艺参数或环境因素的变化，可能导致曲线出现相同的波动，即曲线变化与焊接参数或焊缝缺陷的对应具有不唯一性。光电信号对焊接状态的变化极为敏感，体现在输出结果上即为输出曲线波动大，规律性低，这就导致很难根据曲线特性判断焊接状态及成因。目前，该技术主要应用于试验研究，其工业化应用需要借助包含大量试验及经验数据的数据库。

2.3 光学传感器与视觉传感器复合技术

光学传感器采样速度快，对熔深、匙孔等的变化较为敏感，而对其他缺陷的监测不够理想；视觉传感器采集信息丰富，但受设备性能限制，采样速率较低，限制了其在工业领域的应用［18］。将光学传感器与视觉传感器进行复合应用，二者相辅相成互为补充，将极大地提高激光焊接过程质量实时监测结果的时效性及准确性。

Bardin等人［29］搭建了1套同轴复合传感器监测设备，如图5［29］所示，通过3个光电传感器和1个视觉传感器采集紫外、可见光、红外信号及匙孔形貌，并将光谱信号与匙孔形貌特征融合处理，可实时焊接过程是否熔透的判断。

李竹曼等人［30］在研究不锈钢板T形接头激光焊接工艺时，通过使用视觉传感器采集金属蒸汽图像，并与光谱仪采集的金属蒸汽辐射的紫外到近红外波（186～1 100 nm）复合分析，实现了对熔宽及熔深的预测与分析。

游德勇［23］和孙燕［31］基于类似的试验设想，将多个光电传感器与视觉传感器融合到焊接过程实时监测系统，通过光电传感器获取可见光及激光反射2个光强信号，通过视觉传感器获取匙孔面积、表面金属蒸汽及背面金属蒸汽3个形态特征信号，通过图像处理算法，计算焊接过程多个对象的物理几何参数，最终获取了焊接过程状态的完整信息。该系统结构如图6［23］所示，系统输出结果实例如图7［23］所示。游德勇［23］基于以上监测信息建立了多元数据分析与机器学习方法的低成本数据驱动识别系统，该系统可以代替工业高成本复杂结构的传感器监测系统。

光学及视觉传感器复合技术对焊接状态变化敏感，采样速度快，采集信息丰富，因此该技术在实验室及工业生产中都得到了大量研究和应用，是激光焊接过程质量监测技术的主要发展方向。此外，该系统软件和硬件性能的提升，如采集及处理算法的完善，工业相机采样频率的提高，计算机运行速度的提升等都将推动该技术的进一步发展。

2.4 其他复合技术

除上文提到的光学、视觉或光学及视觉等多传感器复合技术外，通过采集激光焊接过程中产生的电信号［32］或声信号［33］，并与光学、视觉信号进行復合，也可以实现焊接质量的实时监测。Nakamura等人［34］将光谱仪与声学传感器以旁轴的方式复合到激光头上，通过光谱及声音信号判断羽辉及等离子状态，进而可以实现熔深的判断，以确定焊接过程中热导焊与深熔焊的区分。刘佳［35］搭建了复合传声器及视觉传感器的熔池视频监控系统，对正常焊接和缺陷焊接过程中产生的声信号及熔池小孔的图像信号进行了研究，发现通过声压分布图及熔池小孔图复合处理，可实时反应焊接缺陷的出现。正常状态及存在缺陷时的熔池小孔声压级分布图区别如图8［35］所示。由于不同缺陷在光学、声学上的信号类似，导致复合信息不能准确区分缺陷类型，此外，声信号不易采集且易受焊接环境噪音的影响，因此声信号传感器与其他传感器进行复合的技术不适合生产应用。

高向东教授团队［36］以大功率盘形激光焊接301不锈钢为试验对象，应用近红外高速摄像机和X射线视觉成像系统同时提取焊接过程中的熔池动态图像，并分割出匙孔区域。该套系统结构如图9［36］所示。试验结果表明，将2个传感器获取的匙孔特征信息融合并进行主成分分析变换后，熔宽和熔深的预测绝对误差平均值分别为0.18 mm和0.57 mm。由于X射线成像需要在密闭环境下进行，且对试样尺寸要求较高，因此该系统同样难以实现工业化应用。

3 复合传感技术的商业化应用

近年来，复合传感技术的深入研究为激光焊接过程实时监测的商业化应用提供了大量思路，计算机数据计算能力的提升保证了图像处理的速度、精度及有效性，此外各类传感器精度的提高、采样频率的提高及价格的降低为复合传感技术的商业化应用奠定了基础。

大众汽车公司和德国弗劳恩霍夫研究所共同开发了1套完整的激光焊接质量评估系统［37］，该系统通过集成3个光电传感器收集激光背反射信号强度、近红外信号强度及可见光信号强度，并与激光输出能量结合，实现了白车身激光焊接过程质量实时监测，监测结果案例如图10［37］所示。

美国IPG收购了加拿大初创公司Laser Depth Dynamics（行业内最早使用干涉激光焊接测量解决方案的企业），从而进军焊接监测技术市场。IPG公司推出的基于相干干涉成像技术的激光焊接全过程监测系统LDD-700［38］，成为国际工厂和研究机构的应用试验室中不可或缺的工具。该系统配置Omni焊接软件，可实现多种测控模式：焊前的焊缝追踪、工作距测量；焊接过程中的实时熔深监测及焊后的焊缝质量，其典型监测结果如图11［39］所示。借助ICI（Inline coherent imaging，内联相干成像）光束的主动引导，OmniWELD可实现在焊前、焊中及焊后及时分析诊断出缺陷。

加拿大Servo-Robot公司（赛融公司）推出激光焊接过程控制系统（LPCS），如图12所示，该系统通过复合视觉传感器、激光背反射光电传感器及红外辐射传感器，可实现激光焊接过程的实时监控，并能识别气孔、未熔透及焊穿等缺陷。

德国普雷茨特公司（PRECITEC）推出激光焊接实时在线监控系统LWM 4.0，该系统采用多光学传感器复合技术，通过采集可见光、红外线及激光背反射信号信号，并结合实时激光输出功率，与数据库参考曲线进行比较。当信号出现偏差时，该结果会实时发送给控制系统，如图13所示，从而实现焊接过程的实时监测。

4 结束语

自动化及智能化是激光焊未来的发展方向，而激光焊接过程质量实时监测及控制是实现生产自动化的基础，光学及视觉等多传感器复合技术为实现焊接过程实时监测提供了工业化应用研究方向。目前虽然已有多款实时监测系统应用生产，但技术不够完善，传感器采样频率及分辨率等有待提高，且系统只针对一种或几种焊接状态或焊接缺欠，不具有普遍适用性。

在激光焊接过程质量实时监测的基础上，如何实现焊接工艺的自适应调整仍是未来的研究重点。目前，自适应调整技术只实现了基于电子温度、热辐射信号、激光反射信号或ICI技术的激光输出功率实时调整，实现了试验环境下的熔深自适应控制，但这距离激光焊接自动化及智能化生产仍然具有很大距离。未来如何实现基于激光焊接过程实时监测的焊接工艺（如离焦量、焊接速度等）自适应控制仍然任重而道远。

参考文献

［1］ 孟圣昊， 司昌健， 任逸群， 等. 中厚板TC4钛合金真空环境激光焊接特性［J］. 焊接学报， 2021， 42（8）： 40-47.

［2］ 范霁康， 倪程， 徐鸿林， 等. 3003铝合金激光焊接组织和力学性能［J］. 焊接， 2021（3）： 22-25.

［3］ 雷振，徐良，徐富家，等. 激光-电弧复合焊接技术国内研究现状及典型应用［J］. 焊接， 2018（12）： 1-6.

［4］ 杨璟. 铝合金激光深熔焊接过程行为与缺陷控制研究［D］. 北京：北京工业大学博士学位论文，2012.

［5］ 王涛. 汽车用先进高强钢激光焊接性能研究［D］. 上海：上海大学博士学位论文，2017.

［6］ 蒋宝， 黄瑞生， 雷振， 等. 中厚钢板万瓦级光纤激光焊接技术研究现状［J］. 焊接， 2020（2）： 42-48.

［7］ Stavridis J， Papacharalampopoulos A， Stavropoulos P. Quality assessment in laser welding： a critical review［J］. International Journal of Advanced Manufacturing Technology， 2017， 94（1）： 1-23.

［8］ 齐秀滨. 激光焊接过程视觉传感技术的发展现状［J］. 焊接学报， 2008， 29（2）： 108-112.

［9］ 王荣浩，张文昌，伍昕忠，等.基于激光视觉的焊缝表面质量检测方法研究［J］. 机电产品开发与创新， 2018， 31： 11-13.

［10］ You D Y， Gao X D， Katayama S. Review of laser welding monitoring ［J］. Science & Technology of Welding & Joining， 2014， 19（3）： 181-201.

［11］ 高世一，吳瑞珉，陈卫东，等. 激光焊接过程监测及焊缝质量检测技术研究现状［J］. 世界钢铁， 2010， 10： 55-58.

［12］ 汤信，顾俊，刘钊鹏，等. 激光焊接过程质量评价研究综述［J］. 应用激光， 2019， 39（6）： 1049-1054.

［13］ 曾浩，周祖德，陈幼平，等. 激光焊接质量实时检测和控制的进展［J］. 激光杂志，2000，21（1）： 2-5.

［14］ 王豪，魏昕，林本宏，等. 激光深熔焊接过程质量监测技术研究现状［J］. 应用激光， 2018， 38（1）： 123-129.

［15］ 杨海锋. 铝合金高功率双光束激光及与TIG复合焊接特性研究［D］. 北京：机械科学研究总院硕士学位论文，2016.

［16］ Braun H， Dorsch F， Keler S， et al. Camera-based laser beam welding sensor in the near infrared spectral range ［C］//Orlando，USA： 30th International Congress on Laser Materials Processing， Laser Microprocessing and Nanomanufacturing， 2011.

［17］ 高向东，刘英英，萧振林，等. 盘型激光焊接状态多传感信息融合分析［J］. 焊接学报， 2015， 36（12）： 31-34.

［18］ 刘英英. 大功率盘形激光焊多传感器信息融合方法研究［D］. 广州：广东工业大学硕士学位论文，2014.

［19］ 王煜. 激光-电弧复合焊接状态在线检测方法研究［D］. 广州：广东工业大学硕士学位论文，2019.

［20］ Ribic B， Palmer T A， Debroy T. Problems and issues in laser-arc hybrid welding ［J］. International Materials Reviews， 2009， 54： 223-244.

［21］ 胡艳萍. 铝合金激光-电弧复合焊接缺陷光谱诊断研究［D］. 武汉：华中科技大学硕士学位论文，2017.

［22］ Olsson R， Eriksson I， Powell J， et al. Challenges to the interpretation of the electromagnetic feedback from laser welding［J］. Optics & Lasers in Engineering， 2011， 49： 188-194.

［23］ 游德勇. 大功率激光焊接过程状态复合驱动在线检测方法研究［D］. 广州：广东工业大学博士学位论文，2014.

［24］ 吴松坪，王春明，胡伦骥，等. 激光焊接典型熔透状态信号特征分析及其识别［J］. 焊接学报， 2006，27（7）： 69-73.

［25］ 王春明，吴松坪，胡伦骥，等. 基于多传感器融合的激光焊接熔透状态的识别［J］. 中国激光， 2007，34（4）： 538-542.

［26］ 张旭东，陈武柱，刘春，等. CO2激光焊接的同轴检测与熔透控制I.熔透状态特性及其同轴检测［J］. 焊接学报， 2004， 25（4）： 1-4.

［27］ 江武志，梁晨曦，吴华昶，等. 基于双层光电传感系统的YAG激光焊接质量检测［J］.传感器世界， 2017， 23（10）：13-19.

［28］ Kawahito Y， Ohnishi T， Katayama S. In-process monitoring and feedback control for stable production of full-penetration weld in continuous wave fibre laser welding ［J］. Journal of Physics D Applied Physics， 2009， 42： 85501-85508.

［29］ Bardin F， Cobo A， Lopez-Higuera J， et al. Optical techniques for real-time penetration monitoring for laser welding ［J］. Applied Optics， 2005， 44： 3869-3876.

［30］ 李竹曼，高向东，张南峰. 大功率碟片激光焊接状态多特征融合分析法［J］. 激光技术， 2017， 41（5）： 764-768.

［31］ 孙燕. 盘形激光焊接状态多传感信息融合在线检测［D］.广州：广东工业大学硕士学位论文，2015.

［32］ Zhang Y M， Zhang S B，Liu Y C. A plasma cloud charge sensor for pulse keyhole process control ［J］. Measurement Science and Technology， 2001， 12： 13651370.

［33］ Lee S， Ahn S， Park C. Analysis of acoustic emission signals during laser spot welding of SS304 stainless steel ［J］. Journal of Materials Engineering and Performance， 2014， 23： 700-707.

［34］ Nakamura S， Sakurai M， Kamimuki K， et al. Detection technique for transition between deep penetration mode and shallow penetration mode in CO2 laser welding of metals ［J］. Journal of Physics D Applied Physics， 2000， 33： 2941-2948.

［35］ 刘佳. 基于声音图像信号的激光焊接过程质量实时检测的研究［D］. 天津：天津大学硕士学位论文，2012.

［36］ 高向东，李竹曼，游德勇，等. 激光焊匙孔特征的近红外与X射线传感分析［J］. 光学精密工程， 2016，24（10）： 2400-2407.

［37］ Mickel P M， Kuhl M， Seidel M. Quality and process control of laser welding using multisensory systems and methods of pattern recognition［C］//Germany： Proceedings of the LANE，  2007： 957-966.

［38］ 克里斯托弗·M·加尔布雷思，乔丹·A·坎科，保罗·J·L·韦伯斯特. 使用内联相干成像（ICI）监视和/或控制摆动处理的系统和方法： 中国，CN201980048317.3 ［P］. 2021-03-09.

［39］ Webster P， Wright L G， Ji Y， et al. Automatic laser welding and milling with in situ inline coherent imaging ［J］. Optics Letters， 2014， 39： 6217-6220.

李康寧简介： 硕士，工程师；主要从事激光及激光-电弧复合焊接技术开发方面的研究；已发表论文5篇；18200283550@163.com。