吴佳毅陈建强邓宇平郭剑锋姚卓荣

基于机器视觉检测的手机显示屏点胶系统*

吴佳毅1陈建强1邓宇平2郭剑锋2姚卓荣1

（1.广州沧恒自动控制科技有限公司 2.广东工业大学机电工程学院）

针对手机显示屏点胶机存在的定位机构复杂、效率低和质量不稳定等问题，在传统手机显示屏点胶技术基础上增加机器视觉检测系统，实现定位校准功能。首先在手机显示屏上任取2个特征点作为图像校正的基准点，对采集的手机显示屏图像进行预处理，利用图像金字塔以及仿射变换对特征点进行模板匹配；然后标定图像，完成相机坐标和世界坐标的转换；最后通过基准点的偏移进行图像校正。实验结果表明：机器视觉检测系统能够定位手机显示屏位置，结合运动控制系统，达到精确点胶目的。

视觉检测；定位校准；图像标定；模板匹配

0　引言

近年来，手机显示屏越来越大、边框越来越窄，这对手机显示屏的贴合技术要求越来越高，特别是对自动化点胶机灌胶封层技术要求不断提高[1-2]。

传统手机显示屏点胶过程中，若工件偏移（夹具未夹紧），可能使点胶位置不准确；若误判点胶路径，点胶位置会产生严重误差，导致点胶质量大大降低[3]。为解决上述问题，本文利用机器视觉检测手机显示屏的准确位置坐标参数，并将该坐标参数传输给运动控制系统，以控制点胶机沿正确路径进行点胶，实现高效率、高质量点胶生产。

图1　基于机器视觉检测的手机显示屏点胶系统组成框图

1　手机显示屏点胶系统总体设计

基于机器视觉检测的手机显示屏点胶系统主要包括点胶设备、机器视觉检测系统和运动控制系统3部分，如图1所示。点胶系统使用四轴机械臂，其中三轴控制点胶枪，轴固定工件，如图2所示。四轴机械臂在运动控制器的控制下进行对应的导轨丝杆运动，可较好地完成用户设定的点胶动作。机械臂还配有对应轴的原点传感器，便于每根轴准确回到原点并能建立正确的加工坐标系。

手机显示屏点胶系统的点胶流程如图3所示。首先对相机获取的手机显示屏图片进行图像预处理；然后采用机器视觉算法确定工件的偏移情况，并传输给运动控制系统；最后运动控制系统生成正确的点胶路径，完成点胶流程。

图2　四轴机器人示意图

图3　手机显示屏点胶系统的点胶流程

2　机器视觉图像处理算法

本文利用机器视觉检测功能检测工件位置的偏移。鉴于手机屏形状规则，玻璃反光干扰图像采集等因素，不直接对手机屏幕图像进行处理，而是对手机显示屏上标注的特征点（Mark点）进行处理。通过Mark点获取工件的偏移量，从而对实际点胶路径的坐标进行补偿。

机器视觉图像处理算法主要包括图像预处理、模板匹配、图像标定和图像校正。

2.1　图像预处理

点胶机工作通常处于非封闭状态，环境照明比较复杂，即使配备合适的光源，也无法确保采集图像质量。为使手机显示屏图像边缘清晰可用，采取如图4所示步骤对图像进行预处理。

图4　手机显示屏图像预处理步骤

灰度变换可使手机显示屏图像边缘更突出，同时能一定程度减少光源差距带来的影响。对图像进行旋转、镜像处理可方便后续图像分析[4]。由于成像范围较小，无需采取局部阈值分割。确定合适的阈值后，通过像素和阈值的大小关系对该像素进行阈值分割，以区分目标和背景[5]。对图像进行形态学开运算，先进行腐蚀操作，再进行膨胀操作。该方法能够去除图像中细小噪声[6]。手机显示屏图像经过图像预处理后的成像结果如图5所示。

图5　手机显示屏图像经过图像预处理后的成像结果

2.2　模板匹配

由于手机屏幕具有反光特性，会对图像采集及处理造成较大干扰，因此在手机屏幕的左上和右下2个对角分别标注1个Mark点。模板匹配的任务就是精确地找到这2个Mark点位置。

传统的模板匹配方法大多针对特定的定位标志，耗时较长；而基于灰度图像旋转不变的匹配方法，需预先知道匹配图像的旋转角度，再利用图像方向码直方图进行匹配运算，但该方法不适合工件可能发生偏移的情况。

本文采用基于图像金字塔分层算法加快运算速度；同时对模板进行仿射变换，增加图像的旋转不变性[7]。

2.2.1图像金字塔

图像金字塔第一层：用i表示待处理图像的原始分辨率，并作为图像金字塔底层；图像金字塔第二层：对第一层先进行低通滤波再进行两倍子采样，称其为i层。以此类推，形成图像高斯金字塔，如图6所示。

图6　图像高斯金字塔

对于二维图像(,)，其金字塔结构表达式为

式(1)等号左式表达对第层图像低通滤波并进行两倍子采样处理；右式表达尺度下的近似图像，即经处理后低分辨率的图片。如上所述，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合[8]。金字塔的底部是待处理图像，顶部是待处理图像低分辨率的近似。当向金字塔上层移动时，尺寸和分辨率降低。因此，在模板匹配过程中，先从低分辨率图像进行比对，能大幅减少匹配时间。

2.2.2仿射变化

为增加模板的旋转不变性，排除工件位置偏移对算法的影响，引入仿射变化。仿射变换的实质是在二维直角坐标系下的线性映射加平移变换。其最明显的特征是可通过平移、旋转和缩放等实现直角坐标系转换，同时不改变图像的平直性和平行性[9-10]。在手机显示屏点胶过程中，工件发生的偏移大多是平移或旋转。本文以图像发生平移为例进行说明。

令原图的任意坐标为（,），仿射变化后的坐标为（','），变换矩阵为，用矩阵乘法表示仿射变化。

将图像像素的某一点从（,）移动到（+t,+t）位置，则变换矩阵为

2.2.3基于图像金字塔的模板匹配

在相机拍摄手机显示屏时，摄像头的位置固定，几乎不发生图像缩放，成像出现误差主要来自于工件位置的平移或角度偏转。为加快算法运算速度，本文省略图像缩放过程。

基于图像金字塔和仿射变换的模板匹配步骤：

1）构造原图像和预先准备好的匹配模板级分辨率图像金字塔；

2）设定模板的旋转角度和步长；

3）设定相关系数的门限1，若第（−1）级的图像分辨率与图像匹配的相关系数小于1，则匹配第（−2）级的图像分辨率；

4）推算匹配图像的位置，在设定的角度旋转范围内再一次进行模板匹配；同时设定一个相关系数门限2，若匹配的相关系数大于2，则匹配完成。

2.3　图像标定

图像标定需完成相机坐标对世界坐标的转换。以创建模板的坐标处为中心取9个点，在每个点都进行一次模板查找；将每个点的像素坐标和机械坐标保存在不同数组；再将这9组坐标利用仿射变换，得到世界坐标与相机坐标的转换关系，如式(4)所示。

其中，','表示机械坐标的坐标；为旋转系数；,表示像素坐标的坐标；为位移。

2.4　图像校正

图像校正的主要作用是对点胶轨迹坐标进行补偿。具体步骤：在点胶程序开始运行前，进行模板匹配；查找到模板后获取图像中心；利用图像标定获得的转换矩阵将图像中心转换为机械中心；机械中心与模板样例的机械中心进行减法，得到工件前后偏移量；将该偏移量输入每条运动点胶指令。

3　运动控制系统

机器视觉检测系统获得的工件偏移参数，输入到四轴机械臂运动控制系统，实现对手机显示屏的精确点胶。点胶步骤：

1）模板匹配并保存模板中心（便于图像标定，转换相机坐标为世界坐标），计算原始模板与实际模板偏移量并保存；

2）在模板匹配的同时，运动控制系统根据需要点胶的手机显示屏型号，规划标准点胶路径（在工件不发生偏移情况下的点胶路径）；

3）根据模板中心计算的工件偏移，在原有轨迹点加入补偿坐标，修正点胶轨迹（此时的点胶轨迹为该工件偏移状态下的特定路径）；

4）调用运动控制函数控制机械臂各轴进行点胶运动。

运动控制系统采用DMC5400A运动控制卡，其特点是实时处理速度快。加入前瞻后，连续轨迹运动过程中，每条运动指令的连接时间几乎为0 s，且能够自动规划每段运动的衔接速度，可更快、更平滑地完成点胶过程的连续轨迹运动，避免点胶过程中由于卡顿引起的点胶质量下降问题。

4　点胶运动测试实验

手机显示屏点胶胶粘接条件：被粘接物表面洁净；被粘接物宽度≥1.0 mm；厚度≥0.3 mm；粘合剂厚度在0.02 mm~0.05 mm之间；在140℃～160℃（热压合模具温度）压合[11]。

实验采用某手机整机宽度为64.90 mm、屏幕为4.4寸。主屏显示区域到点胶边缘的距离约为3 mm，接近最窄宽度。这样可证明该手机显示屏点胶系统能够满足绝大部分手机显示屏点胶的需求。

实验在工件无偏移和人为预设偏移位置情况下，测试点胶轨迹是否能进行坐标补偿，达到精确点胶的效果。

4.1　工件无偏移测试

在工件无偏移时，分别在圆弧和直线运动的情况下，测试点胶轨迹是否会偏离预设路径。对点胶机发出开始点胶指令后，点胶机通过点胶指令表从设定的坐标开始点胶，如图7所示。

图7　点胶指令表

以图7线段起点坐标,,（183.658, 339.408, 45.359）为例，每2个线段点的坐标表示在直线运动中随机抽取的轨迹坐标。以轴方向运动为例，可看出相邻2个坐标间，轴坐标偏差最大不超过0.3 mm。说明在直线运动过程中，点胶路径未发生大的偏移、点胶精度较好。同理，在圆弧运动过程中，圆弧中点位置的偏差始终保持在0.5 mm以内，由此表明，圆弧运动时，其运动的圆心并未发生较大偏移，点胶过程能保持较好精度。

4.2　预设偏移位置测试

人为预设工件偏移位置，测试手机显示屏点胶系统能否正确找到手机显示屏上的2个Mark点位置。

如图8、图9所示，圆圈部分是手机显示屏上预设的2个Mark点，十字部分是系统判断的Mark点位置。对图像进行放大后发现，Mark点（圆心）位置与十字中心贴合，说明系统在工件发生偏离后仍能准确定位Mark点位置，从而确定工件偏移情况。用4.1的实验方法进行再次测试，结果表明：直线运动偏差在0.3 mm以内，圆弧中心偏差在0.5 mm以内。

图8　手机显示屏左上角Mark点识别

图9　手机显示屏右下角Mark点识别

5　结论

本文在传统手机显示屏点胶技术的基础上增加了机器视觉检测系统，通过检测手机显示屏上预先设定的Mark点位置，可得到工件位置的偏移参数。采用基于图像金字塔的模板匹配算法能较好保证算法实时性。在工件发生偏移时，只要移动后的Mark点仍在预定的相机视场内，点胶运动轨迹便能准确地与手机屏幕模型边缘线重合。最后通过与DMC5400A运动控制卡结合，达到点胶过程无卡顿的需求。实验结果表明：直线运动偏差在0.3 mm以内，圆弧运动中心偏差在0.5 mm以内，达到精确点胶的要求。

[1] 朱广韬.基于机器视觉的双头点胶机的设计[D].镇江:江苏大学,2016.

[2] Dan Ashley.点胶工艺的新进展[J].电子工业专用设备,2013, 42(Z1):72-74.

[3] 肖守柏.基于机器视觉的三轴点胶机定位控制系统的设计与实现[J].数字技术与应用,2014(8):9-10.

[4] 陈新磊.基于灰度变换及边缘检测的脑地形图像识别算法的研究[J].电脑编程技巧与维护,2019(3):131-133.

[5] 阳树洪.灰度图像阈值分割的自适应和快速算法研究[D].重庆:重庆大学,2014.

[6] 李海霞,罗芳芳.汽车辅助驾驶系统交通信号灯识别[J].电子技术与软件工程,2018(13):234-236.

[7] 漆志亮.基于机器视觉的点胶机工件定位研究[D].南昌:南昌大学,2018.

[8] 江志军,易华蓉.一种基于图像金字塔光流的特征跟踪方法[J].武汉大学学报(信息科学版),2007,32(8):680-683.

[9] 曾文锋,李树山,王江安.基于仿射变换模型的图像配准中的平移、旋转和缩放[J].红外与激光工程,2001,30(1):18-20,17.

[10] 刘币币.基于机器视觉定位的自动点胶控制系统的研究与开发[D].广州:华南理工大学,2016.

[11] 李帅.窄边点胶工艺在智能手机领域的应用与推广策略——以厦门威尔邦公司为例[D].厦门:厦门大学,2014.

Dispensing System of Mobile Screen Based on Machine Vision Inspection

Wu Jiayi1Chen Jianqiang1Deng Yuping2Guo Jianfeng2Yao Zhuorong1

(1.Guangzhou Cangheng Automatic Control Technology Co., Ltd. 2.School of Electromechanical Engineering, Guangdong University of Technology)

Aiming at the problems of complex positioning mechanism, low efficiency and unstable quality of dispensing machine for mobile display screen, machine vision detection system is added on the basis of traditional dispensing technology for mobile display screen to realize positioning calibration function. Firstly, two feature points are selected as the reference points of image correction on the mobile phone display screen, and the collected images of the mobile phone display screen are preprocessed, and the feature points are matched by image pyramid and affine transformation. Then, the image is calibrated to complete the transformation of camera coordinates and world coordinates. Finally, the reference points are offset. Image correction is performed. The experimental results show that the machine vision detection system can accurately locate the position of the mobile phone display screen, and achieve the purpose of accurate dispensing with good motion control system.

Visual Detection; Location Calibration; Image Calibration; Template Matching

广州市科技计划珠江科技新星专题项目（201806010128)；广州市科技计划现代产业技术专题项目（201802010021）。

吴佳毅，男，1992年生，硕士研究生，主要研究方向：机器视觉、智能测控。

陈建强，男，1987年生，硕士研究生，主要研究方向：机器视觉、机器学习、智能测控。

邓宇平（通信作者），男，1996年生，硕士（在读），主要研究方向：深度学习、机器视觉。E-mail：849721104@qq.com

郭剑锋，男，1997年生，本科，主要研究方向：机器视觉、仪器仪表。

姚卓荣，男，1996年生，本科，主要研究方向：仪器仪表、机器视觉。