常晟，杨彤瑶，郝静烈，冷晓飞，王晓霞

红云红河烟草（集团）有限责任公司，云南昆明，650231

0 引言

卷烟烟支和盒装外观的检测是卷烟产品质量检测的关键指标之一，检测出外观缺陷并分析成因是实现高质量生产卷烟产品的前提。目前烟草行业围绕卷烟外观检测已经开展了很多研究工作，玉溪卷烟厂和红河卷烟厂[1-2]分别设计了一种包装盒外观质量六面自动检测方法和一种智能烟件外观检测装置，柳州卷烟厂和长春卷烟厂[3-4]分别设计了一套小盒烟包外观检测系统，红云红河烟草（集团）有限责任公司[5-8]针对在线卷烟外观检测技术做了大量研究，对在线烟支和盒装外观检测设备做了大量完善和优化工作，同时也研发了一种基于CCD的盒装烟标测量装置。但是，目前大多数研究仅限于在线检测设备的优化、单一的盒装或者平张条盒外观检测的研究，烟支和盒装外观一体化离线检测仪器还未见报道，并且卷烟外观离线检测大多采用传统的人工检测方式，通过人眼和尺子来识别和量化盒装和烟支的外观缺陷，使用这种方法，效率难以提高并且耗费人力。针对此问题，本文设计了一台基于卷积神经网络-循环神经网络的盒装和烟支外观检测仪器，通过模拟人的识别过程并进行训练学习，辅助人工进行外观质量的检测判定。

1 外观质量检测仪的设计

1.1 硬件设计及工作原理

外观质量检测仪的总体设计方案如图1所示，卷烟外观检测仪的主要硬件包括：CCD工业相机、LED照明装置、光纤传感器、工业控制计算机、PLC电控系统、输送通道和传送鼓轮等。

图1 外观质量检测仪原理图

盒装烟包和烟支会触发光纤传感器信号，当有盒装烟包、烟支来到检测位置时候，传感器将发出信号，控制CCD工业相机拍摄当前烟包、烟支的图像，CCD工业相机分别对烟包盒装的正面、背面，两个侧面以及两个端面，以及烟支的整个外周及两个端面进行图像采集。LED光源分别安装在检测支架的各个部位，能从多个方向对烟包、烟支进行照明，以便消除烟包表面的阴影范围，同时减少透明纸的反光面积。将烟支、盒装的反射光转化为电子信号，再对电子信号进行分析处理，从而得出烟支、盒装的外观质量参数。

盒装是采用鼓轮旋转和皮带差速装置对烟包进行旋转，使其六个面都能被检测。将待检盒装烟包输送到装置内，检测开始，盒装烟包输送装置自动抬升烟包，并推送到传输皮带上，由传送皮带运送到指定位置，触发各位置视觉摄像头采集图片，盒装烟包之后进入传送鼓轮，并翻转到指定角度，完成相应位置图像采集；之后盒装烟包被鼓轮翻转后，进入传送带后段，完成后续图像采集。

进行烟支检测时，卷烟烟支经传送鼓轮输送至传送皮带，传送皮带将烟支输送至烟支翘板,触发各位置视觉摄像头采集烟支图像，通过对烟支的旋转从而对整个圆周面进行图像采集，同时对烟支两端的空头缺嘴等缺陷情况进行图像采集，之后，烟支翘板翻下，完成检测烟支依次进入回收盒内。

在烟包输送装置上方装有激光位移传感器，检测开始时，盒装烟包被推送组件推动，产生平行位移，激光位移传感器对盒装烟包表面距离进行高速采样，控制器根据盒装烟包的牌号数据，如果出现超过设定偏差的情况时，仪器就会判定卷烟烟包出现平整度缺陷，根据这个方法实现对盒装烟包的平整度检测。

1.2 软件的开发

使用两个开发平台Halcon和TensorFlow共同完成软件的开发，盒装和烟支外观检测系统采用了传统机器视觉算法和深度学习算法结合的架构，传统机器视觉算法采用C#进行编写，深度学习算法采用了Python编写。传统机器视觉算法用于处理容易提取和容易量化的特征，例如：面积、角度、长度、颜色等，并对图像进行缩放、增强等预处理，消除由于拍摄、光源、对焦等产生的一系列问题，增强图像的一致性，采用深度学习算法处理很难提取特征的缺陷。

采集图像后，采用卷积神经网络（Convolutional Neural Network，CNN）-循环神经网络（Recurrent Neural Network，RNN）架构构建软件系统，利用两者相结合完成缺陷检测的识别分类，软件工作原理如图2所示。最后，构建自动统计分析模型，并结合外观质量特征数据库数据、质量判定标准，形成有效的质量检验信息，实现检测结果的自动分析和判定，从而使仪器辅助人工进行外观质量的判定。

图2 软件工作原理图

1.2.1 质量特征数据库的建立

要实现模型的检测功能，首先要建立卷烟烟支和盒装外观质量特征数据库，数据库中主要包括各种卷烟烟支和盒装外观质量缺陷图像信息，对缺陷进行人工标记，得到质量特征数据库，最终将这些图像数据库的图片作为样本进行训练和学习。

1.2.2 卷积神经网络-循环神经网络模型

卷积神经网络是一种前馈神经网络，其优势在于对于大量数据和复杂图像的处理能力[9]，卷积神经网络在图像识别领域的研究，国内学者已经做了很多工作，如文宏[10]应用于交通标志的识别、周敏等[11]应用于遥感图像的识别、冯家文等[12]应用于静态手势图像的识别、Chen等[13]应用于检测卫星图像中的车辆、Zhang等[14]应用于雷达图像的分类。所以，卷积神经网络作为一种高效的深度学习模型，在特征识别领域有其自身优势，将其扩展至卷烟外观的离线识别领域可以提高外观缺陷的识别效率。

循环神经网络可以较好地处理有时间依赖关系的数据，在卷烟外观检测中卷烟外观具有较强的一致性，数据具有时间相关性，循环神经网络可以充分利用历史数据，使整个检测系统具备记忆学习的功能，从而提高检测效率。同时为解决循环神经网络梯度消失和梯度爆炸的问题，由Hochreiter[15]等人提出了长短期记忆（long-shortterm memory，LSTM）单元，因此在模型中引入了LSTM以及门控机制，提高了检测效率也降低了误检率。

仪器采集图像之后，输入经过预处理的图像，图像进入模型后分别得到对应的特征图像，经过提取特征，比较分析存在缺陷的盒装或烟支，算法会发现与正常的样品相比相同位置处存在差别，因此，模型就可以有效地区分出外观存在缺陷的盒装烟包或烟支，随后进行分类输出，模型算法如图3所示。

图3 算法流程

2 结果分析

2.1 仪器运行测试

进入操作界面，设定参数后，在检测起始位置放置好烟盒和烟支后，点击启动运行检测程序，仪器会自动采集图像并进行分析（如图4所示）。

图4 仪器操作界面

检测自动完成后，结果界面会显示检测结果，烟盒和烟支的缺陷种类和数量会自动分类输出（如图5所示）。

图5 检测结果示意图

2.2 试验结果对比

在仪器投入运行后，仪器检测的结果与人工检测结果进行了比对。连续检测了500包烟以及10000支烟支，人工进行检测后，对相应的缺陷进行记录，之后再将所有烟包及烟支放入机器进行检测，检测结果如表1所示。

表1 仪器与人工检测比对结果

3 结论

该检测仪器可以根据不同牌号卷烟品牌的特征进行相应检测，自动实现了烟支和盒装外观的缺陷检测，检出率可以达到98.4%，该仪器性能稳定，算法具有较强的目标定位能力，可以实现目标的检测与分类，检出率高，且操作方便，可以辅助人工检测并提高检测效率。今后将优化算法，提高仪器计算速度和检出率。