基于倾斜双目相机的视觉对位技术研究

2021-03-10董永谦王增琴

电子工业专用设备 2021年1期

董永谦，王增琴

( 中国电子科技集团公司第二研究所，山西太原030024)

随着工业4.0 时代的到来，全球工业制造行业迎来了智能制造时代[1]。智能制造的实质是实现超越人脑智力的制造。这种超越所依赖的是新一代人工智能技术，其中包含了机器视觉技术[2]。因此随着智能制造的不断推进，工业自动化中机器视觉技术的地位愈发重要。

机器视觉可实现非接触测量，对于操作者与工件都不会产生任何损伤；具有较宽的光谱响应范围，扩展了人眼的视觉范围；可以长时间稳定地测量、分析和识别，提高了系统的可靠性。因此，机器视觉系统的应用领域越来越广泛，分布于工业、农业、国防、交通、医疗、金融甚至体育、娱乐等行业。

基于倾斜双目相机的视觉对位技术是实现快速对位，精度达到0.01 mm 以下，实现人工无法满足的生产需求。因此，开展基于倾斜双目相机的视觉对位技术研究，通过倾斜图像校正技术、标定技术、模板匹配技术、对位计算的研究，实现快速准确对位。

1 LTCC 热切工艺

多层基板制造工艺流程包括打孔、印刷、叠片、层压、热切、烧结等工艺，热切是多层基板制造中关键工序之一，是通过计算机编程，并自动精确控制伺服系统对层压后带有标识的多层生瓷坯体在一定加热温度条件下快速、高精度的切割，使其成为单件。

由于多层生瓷坯体的材质较软而且有一定黏性，在多层生瓷坯体通过加热的钨钢刀体进行切割时，为了保证切割元件的精度和一致性，并且不损伤内置元件，热切过程需要实现高精度的控制，如图1 所示。

图1 多层生瓷坯体

热切流程如图2 所示，主要包含上料、运动间隔、自动对位、热切和下料等，其中移动间隔、自动对位、热切是重要过程。

倾斜双目相机的视觉对位主要是完成多层生瓷片坯体热切前的自动对位，是保证多层生瓷坯体高精度高速热切的基础，直接关系着热切结果好坏，是热切机的关键技术之一。对位精度要求是Y 轴±0.01 mm，θ 轴±0.005°。

图2 热切机切割流程图

2 倾斜双目相机视觉对位系统设计

2.1 硬件设计

双目相机视觉对位系统硬件主要有图像采集卡、面阵相机、远心镜头、环形LED 光源、运动控制单元、工控机等，如图3 所示。面阵相机是数据采集、传输的前端设备；千兆高速以太网传输接口，保证大量图像数据的实时、快速传送。依据图像的对比度和清晰度调整环形LED 光源亮度，保证图像检测清晰、准确、快速。

图3 视觉系统结构框图

为保证视觉对位精度，选用200 万像素相机。相机的像素尺寸是4.4 μm×4.4 μm，分辨率是1 600×1 200。由于标记尺寸是0.2 mm×1 mm，如果选用1.2 倍的镜头，不仅缩小了视野，而且单个像素的尺寸减小为3.6 μm×3.6 μm，这样图像处理的精度达到10 μm，满足对位精度要求。最终采集的热切图像效果如图4 所示。

图4 热切图像

双目相机视觉对位系统安装结构如图5 所示。由于每个多层生瓷坯体都有两组对位标记，热切机采用两套相机和两套光源进行采集图像。由于受到刀架的影响，相机安装在刀架两侧并偏离垂直方向一定角度，固定在由伺服电机驱动模组实现左右运动的两个独立X 轴上。不同厚度的多层生瓷坯体可通过调节手动滑台以达到调整物距的目的。多层生瓷坯体通过真空吸附固定于工作台上。

图5 视觉系统安装结构图

2.2 软件设计

由于相机倾斜了一定角度使得采集图像存在倾斜，从而影响图像处理的精度，造成对位成功率下降，因此图像预处理时需要进行图像倾斜校正。本文采用了准确度高、抗干扰能力比较强的投影变换。

为了获得图像坐标系与世界坐标系之间的关系，获取相机畸变参数进一步提高对位精度，本研究采用9 宫格运动和旋转运动进行标定，一键即可实现标定流程，方便简便。

对位过程中各相机采用模板匹配方法获取标记的中心点。为了提高对位精度，防止相机倾斜导致的图像模糊参与模板匹配，对位时要求调整物距使得标记所在位置必须清晰可见，并且设定模板区域为图像清晰可见位置。对位过程中，结合标定结果，快速计算平移和旋转的偏移量，并控制热切机运动，直到对位成功。对位流程如图6 所示。

3 标定

3.1 标定原理

双目视觉对位系统[3]是通过相机提取标记中心坐标，计算标记偏移坐标，最后转换为运动偏移量实现对位。在系统计算标记偏移过程中，相机标定[4]是图像坐标与世界坐标的纽带，所以相机标定结果会影响系统对位精度。

图6 图像处理流程图

世界坐标系是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置，可以根据实际情况自由确定。

相机坐标系也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。

图像坐标系是以图像中心为坐标原点，x、y轴平行于图像两边，可以用(x、y)表示物体P的坐标值(单位是mm，代表该像素在图像中的位置)。相机标定采用了九宫格运动和旋转运动，结合运动控制，一键实现标定过程，详细标定过程如图7所示。

九宫格运动是工作台沿着田字格走9 个点，dx与dy均为1 mm，然后回到田字格中心，记录每次移动的位置，同时相机进行图像采集、处理，对视野内的同一个标记点进行记录，从而计算出相机畸变；相机坐标系与机械坐标系间的角度关系θ，相机像素个数与实际距离间的对应关系为K，如图8 所示。

图7 标定流程图

图8 相机坐标系与机械坐标系间角度关系

畸变一般可以分为两大类，包括径向畸变和切向畸变。径向畸变来自于透镜形状，切向畸变来自于相机的组装过程。

由于标记点间距离dx与dy的值已知，且为1 mm，而相机9 点标定移动时相机可获取标记中间移动值为Di，那么相机像素个数与实际距离间的对应关系K的计算公式为：

旋转运动是在相机坐标系下，拍摄到正向与反向旋转点，根据旋转点位置关系，通过三点拟合圆，可以算出相机坐标系与机械坐标系之间的位置偏移量，如图9 所示。

图9 坐标系间的位置偏移关系

3.2 目标位置获取

标定完成后，为提高准确性，保持多层生瓷坯体位置不动，此时切割一刀并获得一条浅浅的刀痕。边缘提取得到刀痕上下边缘后，计算刀痕Y 向中心，如图10 所示，记录此位置并作为目标位置。

图10 刀痕图像

4 对位

4.1 倾斜校正

由于相机的倾斜安装使得图像发生畸变，投影变换可实现图像的倾斜校正。

投影变换是将图片投影到一个新的平面。通用变换公式为：

u，v是原始图片左边，对应得到变换后的图片坐标x，y，其中x=x'/w＇，y=y＇/w＇。

4.2 模板匹配

每个相机采用模板匹配方法获得标记的中心点。模板匹配包含模板创建和模板匹配。

模板创建和模板匹配均采用了图像金子塔模型，图像金字塔是一种以多分辨率来解释图像的结构，如图11 所示，通过对原始图像进行多尺度像素采样的方式，生成N 个不同分辨率的图像。把具有最高级别分辨率的图像放在底部，以金字塔形状排列，向上是一系列像素个数逐渐减少的图像，一直到金字塔的顶部只包含一个像素点的图像。

模板创建的流程如图12 所示。由于相机倾斜安装，景深只有不到1 mm，视场中图像部分是模糊的，如图4 所示。为了保证模板匹配的准确度，模板区域选择图像清晰部分，如图13 所示。模板创建时，要设置合适的金字塔层数，以保证最高层的金字塔至少有10～15 个像素，且模板的形状依旧保存，这样既可保证搜索速度，又可保证匹配的成功率。

图11 图像金字塔

图12 创建模板流程图

图13 模板区域位置

模板匹配的流程如图14 所示，为了保证匹配的成功率，模板匹配的搜索区域通常为整个视场，与模板创建的区域尺寸和位置是完全一样的。模板匹配过程中，金字塔层级越小提取到的特征越多，对应的识别时间越久，准确度越高。

4.3 对位计算

每次对位开始时，要先获取平台的当前位置，以便图像处理后计算平台的移动量。两个相机采用模板匹配的方法进行获取对象输出点，即对象中心。如图15 所示，对象的两个标记中心连线的中点为m，目标的中心连线的中点M，沿着X方向与Y方向平行移动，达到一致前的距离为Δx、Δy；以对象间的中点m为轴进行旋转，对象连线ab 与目标连线AB 相平行时，所形成的角度即为Δθ。Δx、Δy、Δθ 就是对象与目标的偏移量，由于相机固定于X轴上，X 轴进行Δx偏移量运动时，相机位置发生变化，从而影响标定结果，降低对位精度，因此对位过程中只进行Y 轴、θ 轴偏移量运动。对位过程中，如果偏移量小于对位精度阈值（Y 轴：±0.01 mm，θ轴：±0.005°），则对位成功，否则对位失败，继续进行对位。具体对位过程，如图16 所示。