毕齐林，王启腾，全燕鸣

（1.广东省自动化研究所，广东 广州 510070；2.华南理工大学机械与汽车工程学院，广东 广州 510640）

空间变换双靶面成像系统图像配准

毕齐林1，王启腾2，全燕鸣2

（1.广东省自动化研究所，广东 广州 510070；2.华南理工大学机械与汽车工程学院，广东 广州 510640）

针对熔池及熔池前区相连焊缝的双靶面成像系统，采用特征基点标识及基于空间变换的方法，建立双靶面成像系统的图像配准模型。在图像配准模型中应用最小二乘法确定配准模型中的参数，并通过实验证明该方法能够快速、准确地实现图像配准并应用到实际的双靶面成像系统中去，为实现焊接过程中熔池相对焊缝中心偏离量的监测创造条件。

特征基点；双靶面成像；图像配准；最小二乘；空间变换

0　引　言

大型构件角焊缝（fillet welding of corrugation of large structure，FWCLS）采用波纹侧板与底板垂直的方式进行装配，增强了箱型等结构的整体刚度，改善了力学性能。随着铁路运输、航海、航空业等的快速发展，FWCLS得到了大量应用。然而FWCLS的波纹侧板较薄、焊前刚性较差、制造过程也存在一定误差，使得待焊装配缝三维轨迹及缝宽无规律变化，难以实现高精密、智能化地焊接。针对这一问题，Quan等[1]提出了双靶面成像系统的监测跟踪方式，对焊接过程中焊枪轨迹及焊接工艺参数进行自适应调整。在双靶面成像系统中，需要将两幅图像融合，才能实现焊枪轨迹的偏离及待焊装配缝隙宽度变化的监测。然而，两靶面的实际安装位置与设计安装位置存在偏差，故融合前需要对图像进行配准，且配准的精度直接决定了FWCLS的识别准确度。

基于特征的图像配准是目前使用、研究最多的图像配准方法，它将对整个图像的分析转化为对图像中某些特征的分析，大大提高了计算速度。Ward G[2]提出了一种平移变换的图像配准模型，应用到同一场景不同曝光条件下的图像配准问题中，实现系列图像中高动态范围的图像融合，但该模型只能进行平移误差的图像配准，没有考虑图像间旋转误差的影响，存在一定的局限性。在此基础上，为了实现航天器的实时多目标跟踪和捕获，柳祥等[3]提出了基于有效点的质心提取与消旋配准相结合的方法，利用消旋配准去除图像间相对旋转的干扰，解决了角度偏移带来的影响。与此同时，谭勇等[4]引进了缩放参数，实现了遥感目标图像的旋转和缩放参数的高准确配准。随着特征提取、特征匹配等技术的不断发展，产生了很多基于特征的图像配准方法[5-6]，从最初具有简单平移关系的图像配准到后来具有复杂变换（缩放、旋转、灰度变换等）的图像配准。

在双靶面成像系统的图像配准中，因目标的特征在两幅图像中存在镜像关系，且对应的位置、图像大小不同，导致传统的图像配准技术无法适用。目前，学者对于基于特征的图像配准方法有深入的研究，其中最常见的模型是仿射变换模型[7]，该模型可以实现待配准图像间存在的缩放、旋转、剪切、平移的线性几何关系的图像配准，然而对于包含镜像、平移、缩放的空间变换关系的图像配准无能为力。因此，针对这种情况，基于特征基点标识及空间变换，建立了双靶面成像系统的图像配准模型，确定配准模型中的参数，在此基础上结合实验对配准模型进行误差分析，为熔池相对待焊缝中心线的偏离量的在线监测提供了基础条件。

1　双靶面成像系统

在FWCLS的自动焊接过程中，为了提高图像信息的利用率、改善计算准确度和可靠性，利于具有较大光强动态范围的感兴趣区的图像监测，在同一时刻，双靶面系统中的两个相机在不同曝光条件下采集焊接过程中的图像信号，将两通道所采集到的感兴趣的图像特征（熔池和前区焊缝）进行处理，可以最大限度提取各通道中的有效信息，合成高质量的图像，得到感兴趣的参数。该双靶面成像系统如图1所示。

图1　双靶面成像装置系统

该双靶面成像系统包含相机安装盒、两个相机、半反半透镜、滤光片、减光片、滤镜等，如图1（b）所示。首先，调整成像装置的位置，使得物体反射的光线进入图像获取窗口，通过此处增加的滤波片，过滤掉部分波段的弧光干扰；然后，经过滤波后的光线到达半反半透镜，一半光线直接透过，被相机1接收，另一半光线被半反半透镜反射后，被相机2接收。在接收角焊缝焊接图像的过程中，为了体现每个相机关注的侧重点，并尽量使得其位于视场中心，在相机安装座上设定了可调装置，使得相机可以沿着成像装置的横轴、纵轴进行一定的调整。

2　双靶面成像系统配准数模分析

在现场环境中，由于两个相机、镜头、实际和设计的安装位置、姿态存在差异，采集到的两幅图像也会存在偏差，不能采用简单的平移法进行图像配准。因此，针对该双靶面成像系统的特点，在前人研究的基础上，提出了一种采用基于特征基点标识及空间变换的方法建立两幅图像间的配准模型，将其变换到同一坐标系下，然后进行图像融合，监测跟踪熔池中心与焊缝中心线图像的偏离量，实现焊枪轨迹偏离焊缝的在线监测。

2.1图像配准模型分析

若定义S：Rn→Rn，且S（X）=T（X）+A，T是非奇异线性变换，A∈Rn，则变换S称为空间变换。对于图像配准问题，n一般取2或3，但对本文讨论的数学模型，n可以取任意整数。由于噪音的存在，上述公式一般不可能精确成立。特征点集配准的目标是基于估计变换S，使得两特征点集在某种意义上的误差极小化，本文结合实际焊缝监测跟踪的实际需求，主要讨论基于二维空间的图像配准，取n=2。空间变换具有平行线转换成平行线、有限点映射到有限点的一般特性，平移、镜像、缩放等是二维空间变换的特例。

1）平移：设坐标点（x，y）经平移Δx，Δy后的坐标为（x′，y′），则空间变换形式为

其中t=[Δx，Δy]T为平移矩阵。

2）镜像：设点（x，y）关于直线ax+by+c=0的镜像点为（x′，y′），则空间变换形式[8]为

其中：

为镜像矩阵。

3）缩放：设坐标点（x，y）经比例因子k改变大小后的坐标为（x′，y′），则空间变换形式为

其中k为缩放系数。

综合上述的空间变换形式可知，若一个点坐标经过平移、镜像、缩放后的坐标可以用空间变换表示为

也可以简化为

式中：p′（x′，y′）、p（x，y）——坐标矢量；

k——缩放变换因子；

R——镜像矩阵；

t——平移矩阵。

2.2最小二乘参数估计求解

由Mallat等[9]的研究可知，如果两特征点集与两幅图像之间对应关系是空间变换关系，且记pi′（xi′，yi′）为pi′，pi（xi，yi）为pi则：

需要解决的问题是求取图像配准后标准差的极小值[10-11]：

式（7）的空间变换参数为kR，t。若令：

E是元素全为1的m维列矢量，则：

即最小误差函数可以简化为以下形式：

式中TR[P]表示方阵P的迹，即是主对角线元素P之和。Y（kR，t）是关于kR和t的函数，因此极小化Y（kR，t）的（kR）*，t*应满足下式：

由矩阵序的性质可知，对于任意m维列矢量S有

结合式（11），将式（9）代入到式（10）可得：

将其代入式（9）得：

由矩阵序的性质可知，对于任意m×m维矩阵Q=PJPT有：

结合式（15），将式（13）、式（14）代入到式（10）可得：

即

3　实验过程与结果分析

为了通过式（13）、式（17）确定双靶面成像系统中图像配准的空间变换参数，结合真实的实验环境，通过实验对双靶面成像系统图像进行配准。

在实验中采用同一型号的两个相机和镜头，按图1（b）所示安装，依据该双靶面成像装置在实验过程中的成像角度及与被监测目标体的位置关系，确定配准过程中成像装置的拍摄位置。

3.1实验过程

1）制作一个20×20的棋盘格标靶，在棋盘格中央做标记p1、p2、p4、p3，把该区域包含的格子的角点作为图像配准的基准点（即64个基准点），如图2所示。

2）安装好该双靶面成像系统，设置双相机的参数，其中图像大小为1600×1200，采集的图像为8位灰度图，获取做好标记的标靶图像，相机1和相机2分别获取的图像如图2（b）、图2（c）所示。

3）图2（b）是待配准的图像，图2（c）是基准图像，分别求出两幅图像中的64个基准点的图像坐标，利用所述空间变换参数的最小二乘估计求解实现图像配准。该求解过程在Matlab 2010中实现。

图2　图像配准

3.2实验结果

通过Matlab编程，首先求得基准点的图像坐标，然后利用空间变换参数的最小二乘估计求解，得到空间变换各参数。

镜像、缩放变换矩阵：

平移矩阵：

配准后的结果如图3所示。

3.3结果分析

分析对比图3（a）中p1、p2、p4、p3中的方格的配准后角点坐标与图2（c）基准图像中p1、p2、p4、p3方格的基准角点坐标之间的位置关系，如图3（b）所示。

从图中可以看出，配准后的角点坐标与基准角点坐标大体一致，在x、y方向上的误差保持在±2pixel内。其误差主要来源于：双靶面成像系统中两个相机的中心轴在安装的时候不是严格的垂直，获取的图像有一定的畸变；在求取待配准角点和基准角点坐标的过程中存在一定的误差；空间变换参数的最小二乘估计求解是保证配准后的全部角点坐标最优，因此也会存在局部配准后的角点坐标误差偏大的情况。总的来说，该模型的建立以及参数估计求解过程是比较准确的，并且具有良好的稳定性。

4　结束语

本文在各种图像配准技术的基础上，针对双靶面成像系统的实际应用，建立了一种基于空间变换的双靶面成像系统的图像配准模型，在待配准和基准图像中找到足够多的特征点，利用最小二乘参数估计求得该空间变换的各参数矩阵，并通过实验证明了该模型的正确性以及参数估计求解过程的准确性。

图3　配准后的图像及误差分布

1）针对该双靶面成像系统特点，提出了一种采用基于特征基点标识及空间变换的方法建立两幅图像间的配准模型。在此模型基础上，利用最小二乘原理，求解该数学模型中的各参数矩阵。

2）通过实验确定了该数学模型中的参数，并对配准结果误差进行分析，在x、y方向上的误差保持在±2pixel内，证明了该参数估计求解过程的准确性。

3）通过数学模型的建立及实验，实现了具有平移、镜像、缩放参数的双靶面系统的图像配准，为后期进行图像融合，监测跟踪熔池中心与焊缝中心线图像的偏离量，实现焊枪轨迹偏离焊缝的在线监测提供了基础。

[1]Quan Y M，Bi Q L.Image collection and processing system for welding pool and proximate seam using multiple image detectors[J].Computer Modeling and New Technologies，2014，18（11）：105-112.

[2]Ward G.Fast robust image registration for compositing high dynamic range photographs from handheld exposures[J].Joumal of Graphics Tools，2003，8（2）：17-30.

[3]柳祥，胡炳樑，邵秀娟.微型航天器多目标捕获算法研究[J].宇航学报，2009，30（4）：1415-1420.

[4]谭勇，徐佩霞，徐守时.基于线形特征谱线的遥感目标图像旋转和缩放配准[J].中国科学技术大学学报，2010，40（8）：783-789.

[5]Harris C G，Stephens M J.A combined corner and edge detector[C]∥Proceedings of the Fourth Alvey Vision Conference Manchester，1988：147-151.

[6]熊兴华，钱曾波，王任享.遗传算法与最小二乘法相结合的遥感图像子像素匹配[J].测绘学报，2001，30（1）：54-59.

[7]曾文锋，李树山.基于仿射变换模型的图像配准中的平移、旋转和缩放[J].红外与激光工程，2001，30（1）：18-21.

[8]许社教.二维图形的镜像变换及其变换矩阵[J].西安电子科技大学学报，1994，21（1）：85-89.

[9]Mallat SG.Multifrequencychanneldecomposition of images and wavelet models[J].IEEE Trans Speech Signal rocessing，1989，37（12）：2091-2110.

[10]章权兵，罗斌，韦穗，等.基于仿射变换模型的图像特征点集配准方法研究[J].中国图象图形学报，2003（10）：20-24.

[11]孔建，姚宜斌，许双安.整体最小二乘求取坐标转换参数[J].大地测量与地球动力学，2010，30（3）：74-78.

Image registration of double target surface imaging system based on spatial alternation

BI Qilin1，WANG Qiteng2，QUAN Yanming2
（1.Guangdong Institute of Automation，Guangzhou 510070，China；2.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China）

An image registration model has been developed for double target surface imaging system of molten pools and weld joints based on feature point identification and space transformation.Least squares were used to determine model parameters.Experiments show that the method can realize image registration in a swift and accurate manner and can be applied in actual double target surface imaging systems，thus providing conditions to monitor the deviation vector of molten pools relate to weld centers in welding processes.

basic characteristic points；double target surface imaging；image registration；least squares；spatial alternation

A

1674-5124（2015）12-0095-05

10.11857/j.issn.1674-5124.2015.12.024

2015-02-20；

2015-04-27

广东省省院产学研项目（2013B091000006）

毕齐林（1983-），男，湖北黄冈市人，博士，主要从事机器视觉技术及应用研究。