朱立明，王伟，范霞萍，王文博，徐鑫，许小双

基于无监督深度神经网络的卷烟小包拉线缺陷视觉智能检测方法

朱立明，王伟，范霞萍，王文博，徐鑫，许小双

（浙江中烟工业有限责任公司，杭州 310024）

为减少ZB47包装机小包拉线缺陷投诉，基于无监督深度神经网络构建一种小包拉线缺陷视觉智能检测方法。首先，在ZB47包装机CH转塔部位设计并加装小包图像采集装置，获得实时高清晰度小包图像。其次，将小包图像根据拉线位置进行固定位置的裁剪，从而减轻不同工况的环境背景影响并且加快检测速度。然后，构建自编码器–编码器结构的主干网络，同时叠加生成对抗网络中的判别器模块组成缺陷判别模型，并综合采用图像间、图像隐空间以及图像特征间的信息构建模型的损失函数。最后，使用裁剪后的正常小包拉线图像对构建的缺陷判别模型进行训练，并基于所有的正常小包图像得到异常阈值。实际验证阶段，待检测图像的得分大于异常阈值即判断为异常图像，触发CH转塔部位的小包剔除装置将该缺陷小包剔除。生产现场测试表明，所提方法可以对典型小包缺陷进行快速准确检测，缺陷检测准确率为99.99%。该方法能够满足生产现场卷烟小包拉线缺陷检测的准确性和实时性要求。

卷烟小包拉线；生成对抗网络；自编码器；视觉智能检测

卷烟制造环节中，相较于人工缺陷检查，采用机器视觉的缺陷智能检测方法具有检测速度快、检测准确性高等优点。机器视觉的缺陷智能检测方法已逐步在烟梗切丝质量检测[1]、爆珠缺陷检测[2-4]、滤棒数量检测[5]、烟支接装质量检测[6]、中速包装机小包透明纸缺陷检测[7-8]、条盒缺陷检测[9-11]、烟箱缺条检测[12-13]、烟草品牌检测[14]等多个场景进行了成功应用。国产ZB47是一种生产速度为550包/分钟的高速包装机，是“十三五”期间烟草期间行业重大技术装备，目前已在19家中烟工业公司广泛使用。该机型已有小包外观检测、条盒外观检测等成功应用，但是小包外观检测主要利用模板匹配方法对未包装透明纸的小包进行缺陷检测，包装好透明纸的小包外观检测仍处于在线监控盲区，实际生产过程会出现无拉线、拉线高/低等小包拉线质量缺陷和投诉。由于安装图像采集装置物理空间制约，以及检测算法极高的实时性和准确率要求，针对ZB47高速包装机包装好透明纸的小包拉线缺陷检测未见相关研究和成功应用的报道。针对仅有极少量缺陷样本，以及极高的检测实时性和准确率要求的ZB47高速包装机小包拉线在线检测场景，亟需研发一套基于无监督深度学习的小包拉线缺陷智能检测装置，实现小包拉线缺陷的实时检测和联动剔除。

1 小包图像采集装置设计

为了保证含有拉线缺陷的小包能被及时发现并剔除，需要在剔除装置之前进行小包图像采集和缺陷检测。ZB47高速包装机CH转塔部位位置狭小且处于半封闭空间，该处小包已经包好透明纸及拉线，但还未经过整容器进一步烫平美容，CH转塔部位的剔除位置位于转轮转盘正中位置，需要在前一个工位进行小包图像采集装置的设计和安装，并完成小包图像的采集和缺陷检测。CH转塔部位的工位见图1。

图中1号工位为检测位，实现小包图像采集和缺陷检测，并给出剔除反馈；2号工位为剔除位，实现缺陷小包的及时剔除；3号工位为整容器入口位置。

由于CH转塔部位位置狭小且属于半封闭空间，没有足够的物理空间安装支架、工业相机和光源，最终安装位置选取在转轮外部台阶上。此时工业相机到小包的直线距离为380 mm左右，通过多次现场测试最终选用130万像素彩色工业相机、25 mm工业镜头和定制光斑直径为60 mm的LED聚光光源（光源采用低角度打光），安装位置见图2。

图1 CH转塔部位的工位示意图

小包在转塔部位转盘的位置状态可以分为2种：工位处和工位之间运动处。当CH转盘将烟包输送到1号工位时，会有一个短暂停留，利用该时间进行小包图像采集，采集的图像发送至系统后台，并由缺陷视觉智能检测方法进行缺陷检测，对于有缺陷的小包，系统将剔除信号发送给包装机ZB47电控系统。

2 小包图像缺陷检测算法设计

ZB47高速包装机其生产速度550包/分钟，烟包在CH转盘上每转动一个工位的时间周期约为200 ms。该时间内需要执行工业相机触发拍照、图像缺陷检测算法模型运算、给电控系统输出剔除信号等。采用相机千兆网GigE接口传输图片时，各个操作预估耗时见表1。

ZB47高速包装机小包实际生产过程中，因前期未进行小包拉线图像采集，通过上述设计的小包图像采集装置，实现了小包拉线图像的数字化表征和存储，但收集的图像数据主要为正常小包拉线图像样本，缺陷小包拉线图像样本主要靠市场投诉积累，数量极少。同时由于包装机生产速度快，在对缺小陷小包进行实时检测和剔除时，需要缺陷检测算法具有很高的实时性（小于50 ms）。ZB47高速包装机小包拉线缺陷检测需要解决缺陷图像样本少和缺陷检测实时性高等问题。

图2 CH转塔部位的图像采集装置示意图

表1 转盘单个转动周期内各个操作的预估耗时表

Tab.1 Estimated time consumption of each operation in a single rotation cycle of the turntable

有监督缺陷检测算法的网络结构较深，使得其检测速率较慢，很难满足工业生产场景较高的实时性需求。对于仅有极少量缺陷样本的快速缺陷检测场景，无监督缺陷检测算法能够很好地解决缺陷图像样本少和缺陷检测实时性高的问题[15]。文中提出一种只使用小包正常图像样本的无监督深度学习缺陷检测算法，实现了卷烟制造过程小包拉线缺陷的精准实时检测和定位。

2.1 基于生成对抗网络和自编码器的缺陷检测模型

文中提出的无监督深度神经网络小包拉线缺陷检测算法结构（见图3）包括自编码器（AE）和生成对抗网络（GAN）2部分。所提小包拉线缺陷检测算法由3个子网络组成，第1个子网是自编码器网络，由1个编码器和1个解码器组成，用来学习正常卷烟小包图像的分布。编码器e读取输入的小包原始图像，通过计算得到对应的隐空间值，之后通过解码器d得到其重构后的图像；第2个子网是一个编码网络，由1个编码器组成，将重构的图像输入到编码器中得到其对应的隐空间值（和具有相同的维度），从隐空间的层面上判别缺陷，大大降低数据维度从而能够提高判别的效率和准确率；第3个子网是一个鉴别网络，由1个标准GAN网络结构的判别器组成，通过判别器区分原始图像和重构图像的差异，通过对抗训练来使得自编码器能够较好地拟合正常卷烟小包的分布。

图3 无监督深度神经网络的小包拉线缺陷检测算法结构

无监督深度学习小包缺陷检测模型采用3个损失函数来进行综合训练。首先基于输入图像和重构图像的差异定义图像间的重构损失函数，保证了自编码器能够学习到输入图像的语义信息，其定义如下：

(1)

(2)

最后基于第3个子网的判别器定义对抗损失函数。不同于原始GAN中通过判别器的输出值来更新编码器G，采用根据判别器中的内部特征表示更新编码器G，以增强对卷烟小包特征的提取。由于神经网络越靠后的层所提取的特征越能代表图像的高维属性，采用判别器倒数第2层特征之间的差异来组成损失函数，公式为：

(3)

式中：()为输入图像在判别器倒数第2层的特征表征；()为重构图像在判别器倒数第2层的特征表征。由于判别器的网络结构较为复杂，从特征层面上定义损失函数以增强模型的鲁棒性。

基于这3个损失函数便组成了小包缺陷检测算法模型的综合损失函数：

(4)

式中：1、2和3用来调整各个损失对于模型训练的影响，需要在实际的工况条件下进行调整。

在训练的第1阶段，第3个子网的判别器被冻结，第1个子网的自编码器和第2个子网的编码器首先寻找正常数据和异常数据出现差异的最佳隐空间，从而可以根据图像间对应隐空间的不同来判断是否有缺陷。在第2个训练阶段，固定第1个子网的自编码器和第2个子网的编码器参数，第3个子网的判别器利用原始图像和生成图像之间的差异进行缺陷区域定位。无监督深度学习小包缺陷检测算法整体框架见图4。

图4 无监督深度神经网络的小包缺陷检测算法总体框架

2.2 小包图像处理与缺陷检测

对于采集到的卷烟小包图像，由于生产环境的不同，其图像中包含着大量的背景因素。这些与检测主体无关的背景因素不仅会增加模型的运算量，同时也会干扰模型的检测，从而导致模型的准确度下降。

卷烟小包生产过程中，采集到的图像中卷烟小包的位置是相对固定的。采取固定裁剪框将缺陷可能存在的拉线区域裁剪下来，从而较好地消除环境因素的干扰，并使得模型集中在缺陷可能存在的主体区域。基于裁剪后的有效区域正常卷烟小包图像构建训练集，进行上述缺陷检测模型的训练，并根据所有正常卷烟小包图像的异常分数值综合制定正常图像的异常分数阈值。在检测阶段，根据上述异常分数的定义，计算待检测图像的异常分数，将异常分数值与制定的异常分数阈值相比较，如果超过了异常分数阈值则待检测图像存在缺陷，向包装机电控系统发出剔除信号。小包拉线缺陷检测流程见图5。

3 数据验证与结果分析

3.1 试验数据准备

选取某卷烟厂ZB47高速包装机采集的卷烟小包图像进行缺陷检测方法有效性验证。通过数据甄别，选取200张正常的卷烟小包图像构成训练集，500张含有正常及异常卷烟小包图像构成测试集（其中正常小包图像454张、异常小包图像46张）。正常和异常卷烟小包图像见图6，其像素大小为1 280×1 024×3。

图5 小包拉线缺陷检测流程

3.2 模型离线训练

小包拉线缺陷智能检测模型训练100轮，训练样本的数量batchsize取为64，采用Adam作为深度学习优化器，Adam中学习率，动量、。式（4）中、和分别为50、1和1。在隐空间上定义异常分数，隐空间的维度为128维。模型使用Python中的Pytorch框架实现，Python版本为3.6，Pytorch版本为1.6。模型在RTX 2080Ti GPU下进行训练，检测一张图像的平均时间为3.18 ms，异常分数阈值为0.25。

随着训练轮次的增加，缺陷智能检测模型的重构能力逐渐增强、重构的图像逐渐清晰，当训练到100轮时，重构图像与原始图像已经非常接近，几乎能够达到以假乱真的效果。各个训练轮次模型对原图的重构效果见图7。

图6 正常与异常卷烟小包图像

3.3 模型离线测试

利用500张小包图像（其中正常小包图像454张、异常小包图像46张）的测试数据进行缺陷智能检测模型离线验证，模型的准确率、误报率、漏报率等指标定义如下。

P为图像实际无杂物，且检测算法判断无杂物。P为图像实际有杂物，但检测算法却没报警，即漏报。N为图像实际无杂物，但检测算法却报警，即误报。N为图像实际有杂物，且检测算法正确报警。

模型准确率，即检测正确的图像样本数与总图像样本数的比值，计算见式（5）。

(5)

漏报率（负样本），即漏报的有杂物图像样本数与实际有杂物图像样本数的比值，计算见式（6）。

(6)

图7 模型训练过程中模型对于原图的重构图

图8 小包拉线缺陷检测模型训练过程的损失函数进化曲线

误报率（正样本），即误报的无杂物图像样本数与实际无杂物图像样本数的比值，计算见式（7）。

(7)

小包拉线缺陷智能检测模型的各个评价指标见表2。

表2 小包拉线缺陷智能检测模型的评价结果

Tab.2 Evaluation result of cigarette packet tear tape defect detection model

从离线测试结果可以得出，缺陷智能检测模型的漏报率和误报率都较低，分别为0%和0.66%，模型的准确率维持在一个较高的水平，达到了99.4%，能够满足实际生产的检测要求。

3.4 生产现场应用

在生产现场工控机（带RTX 1050Ti GPU）进行小包拉线缺陷智能检测模型的部署，并开发了具备实时监控、历史查询、模型训练、系统设置等功能的小包缺陷检测系统，软件界面见图9。无拉线、拉线偏移、透明纸破、包装纸破、轧包等典型缺陷见图10。

图9 小包缺陷检测系统界面

经过3个月的现场测试，系统对7 697 402张样本图像进行了在线检测，共检出了4 433张缺陷样本图像，通过工艺专家核对，仅发现21张误报缺陷样本图像。误报集中在拉线偏移缺陷，说明算法对拉线微小偏移的检测仍有进一步优化空间。

现场测试共产生769万多张判断为正常的小包图像，如此大量的小包图像数据无法直接进行人工核对，只能通过产品流向市场后的投诉追溯来间接反映是否存在漏报。通过综合市场投诉的追溯分析，未发现该机台检测区域有不合格小包流向市场。

图10 检测出的典型小包缺陷图像

综上所述，在文中算法的现场测试期间，共完成7 697 402张样本图像的在线检测，仅发生21次误报，且未发生对应机台待检区域不合格小包的市场投诉。构建的小包拉线缺陷检测系统可以对无拉线、拉线偏移、透明纸破、包装纸破、轧包等典型小包缺陷进行及时准确检测，有效弥补了小包透明纸拉线外观检测的在线监控盲区。

4 结语

针对卷烟小包拉线缺陷视觉检测问题，提出一种基于生成对抗网络和自编码器的智能检测方法。该模型仅需要正常卷烟小包图像，避免了模型训练对大量缺陷图片数据的需求。通过自编码器子网络对原图像进行重构，并通过一个单独的编码器网络将图像映射到低维空间。综合采用图像间、图像隐空间和图像特征间的信息对模型进行训练，能够从多个角度对卷烟小包存在的异常情况进行准确判别。经过生产现场实验验证，该方法能够在极短的检测时间内准确地对卷烟小包拉线缺陷进行检测，满足卷烟生产现场对小包缺陷检测准确度和检测速度的双重要求。

[1] 张超凡, 董浩, 刘勇, 等. 基于视觉形态特征检测的烟梗切丝质量分析[J]. 烟草科技, 2017, 50(1): 67-73.

ZHANG Chao-fan, DONG Hao, LIU Yong, et al. Analysis of Stem Cutting Quality Based on Visual Morphological Feature Detection[J]. Tobacco Science & Technology, 2017, 50(1): 67-73.

[2] 李巧灵, 黄胜翰, 张廷贵, 等. 爆珠滴制在线视觉检测设备的设计及应用[J]. 烟草科技, 2020, 53(7): 92-101.

LI Qiao-ling, HUANG Sheng-han, ZHANG Ting-gui, et al. Design and Application of On-Line Inspection Device for Flavored Capsule Formation Process Based on Machine Vision Technology[J]. Tobacco Science & Technology, 2020, 53(7): 92-101.

[3] 徐龙泉, 王澍, 董浩, 等. 面向卷烟爆珠放行检验的气泡缺陷检测方法[J]. 烟草科技, 2020(10): 96-102.

XU Long-quan, WANG Shu, DONG Hao, et al. Method for Release Inspection of Cigarette Capsules with Bubble Defects[J]. Tobacco Science & Technology, 2020(10): 96-102.

[4] 王澍, 徐龙泉, 董浩, 等. 卷烟爆珠拖尾缺陷检测方法[J]. 烟草科技, 2021, 53(1): 77-84.

WANG Shu, XU Long-quan, DONG Hao, et al. Method for Detection of Tailed Capsules[J]. Tobacco Science & Technology, 2021, 53(1): 77-84.

[5] 曹维林, 李捷, 孙顺凯, 等. 基于Canny算子的滤棒数量检测方法[J]. 烟草科技, 2020, 53(1): 96-102.

CAO Wei-lin, LI Jie, SUN Shun-kai, et al. Counting Method for Filter Rods Based on Canny Operator[J]. Tobacco Science & Technology, 2020, 53(1): 96-102.

[6] 李捷, 陆海华, 王翔, 等. 基于机器视觉的烟支接装质量在线检测系统[J]. 烟草科技, 2019, 52(9): 109-114.

LI Jie, LU Hai-hua, WANG Xiang, et al. Online cigarette appearance inspection system based on machine vision[J]. Tobacco Science & Technology, 2019, 52(9): 109-114.

[7] 李力, 黄玉彦, 乔茜华, 等. 基于疑似目标区域判定方法的卷烟透明包装缺陷检测[J]. 郑州轻工业学院学报(自然科学版), 2014, 29(2): 35-37.

LI Li, HUANG Yu-yan, QIAO Xi-hua, et al. Detection of Cigarette Transparent Packaging Defect Based on Judgment Method of Suspected Target Region[J]. Journal of Zhengzhou University of Light Industry(Natural Science Ediion), 2014, 29(2): 35-37.

[8] 蔡培良, 何邦贵, 杨剑锋, 等. GDX1小盒软包透明纸热封缺陷的视觉检测系统[J]. 包装工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[9] 吴伟, 刘爱莲, 王永刚. 条烟外包装透明纸缺陷的视觉检测方法研究[J]. 云南大学学报(自然科学版), 2009, 31(S2): 116-119.

WU Wei, LIU Ai-lian, WANG Yong-gang. A Research Used Visual Detection Method in the Defects of Article Cigarette Packaging Cellophane[J]. Journal of Yunnan University (Natural Sciences Edition), 2009, 31(S2): 116-119.

[10] 蔡培良, 何邦贵, 杨剑锋, 等. GDX1小盒软包透明纸热封缺陷的视觉检测系统[J]. 包装工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-Sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[11] 蔡培良, 杨剑锋, 李明, 等. C800-BV包装机条盒纸胶点视觉检测系统的设计[J]. 烟草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800? BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[12] 蔡培良, 何邦贵, 华卫, 等. BV包装机条烟外观质量检测装置的设计[J]. 包装工程, 2018, 40(3): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 40(23): 143-150.

[13] 吴忠云, 邓春宁. 机器视觉检测技术在烟箱缺条检测方面的运用[J]. 机械制造与自动化, 2014, 43(6): 188-190.

WU Zhong-yun, DENG Chun-ning. Application of Machine Vision Technology in Box Lack Detection[J]. Machine Building & Automation, 2014, 43(6): 188-190.

[14] 王伟, 朱立明, 章强, 等. 基于相似性分析和阈值自校正的烟箱缺条智能检测方法[J]. 烟草科技, 2019(1): 91-97.

WANG Wei, ZHU Li-ming, ZHANG Qiang, et al. Method for Intelligent Detection of Carton Missing in Cigarette Case Based on Similarity Analysis and Threshold Self-Correction[J]. Tobacco Science & Technology, 2019(1): 91-97.

[15] 王鹏. 烟箱品牌视觉检测分拣系统的设计应用[J]. 烟草科技, 2014(4): 35-38.

WANG Peng. Design and Application of Visual Case Inspection and Sorting System[J]. Tobacco Science & Technology, 2014(4): 35-38.

[16] 陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述[J]. 自动化学报, 2021, 47(5): 1017-1034.

TAO Xian, HOU Wei, XU De. A Survey of Surface Defect Detection Methods Based on Deep Learning[J]. Acta Automatica Sinica, 2021, 47(5): 1017-1034.

Vision Intelligent Detection Method of Cigarette Packet Tear Tape Defects Based on Unsupervised Deep Neural Network

ZHU Li-ming, WANG Wei, FAN Xia-ping, WANG Wen-bo, XU Xin,XU Xiao-shuang

(China Tobacco Zhejiang Industrial Co., Ltd., Hangzhou 310024, China)

The work aims to construct a vision intelligent detection method for cigarette packet tear tape defects based on the unsupervised deep neural network to reduce the complaints of cigarette packet tear tape defects for the ZB47 packaging machine. First, the cigarette packet image acquisition hardware acquisition device at the CH turret position of the ZB47 packaging machine was designed and installed to obtain real-time high-precision small packet images. Second, the cigarette packet image was cropped at a fixed position according to the position of the tear tape, thereby reducing the effects of the environmental background of different working conditions and speeding up the detection speed. Then, the backbone network of the autoencoder-encoder structure was constructed, and the discriminator module in the generative adversarial networks was added to form the defect detection module. The loss function of the model was constructed according to the information between the images, the latent space and the features of the images. Finally, the cropped normal cigarette packet transparent paper images were used to train the constructed defect detection model, and the abnormal score threshold was obtained based on all normal cigarette packet images. In the actual verification stage, if the score of the detected image was greater than the abnormal score threshold, it is judged to be an abnormal image, and the cigarette packet removal device at the CH turret position was triggered to remove the defective cigarette packet. The test at production site showed that the proposed method could quickly and accurately detect the cigarette packet tear tape defects with an accuracy rate of 99.99%. The method can meet the dual requirements of the actual production process for detection accuracy and detection speed of cigarette packet tear tape defects.

cigarette packet tear tape; generative adversarial networks; autoencoder; vision intelligent detection

TS433

A

1001-3563(2022)17-0273-09

10.19554/j.cnki.1001-3563.2022.17.036

2021–11–18

中国烟草总公司科技项目（110202102006）

朱立明（1972—），男，本科，高级工程师，主要研究方向为卷烟智能制造和工业大数据分析。

责任编辑：曾钰婵