谢一首，李 庆，郑力新，周凯汀，潘书万

(1.华侨大学 工业智能化技术与系统福建省高校工程研究中心，福建 泉州 362021；2. 华侨大学 信息科学与工程学院，福建 厦门 361021)



基于机器视觉的胶囊缺陷检测系统设计*

谢一首1，李 庆1，郑力新1，周凯汀2，潘书万1

(1.华侨大学 工业智能化技术与系统福建省高校工程研究中心，福建 泉州 362021；2. 华侨大学 信息科学与工程学院，福建 厦门 361021)

针对传统人工肉眼检测胶囊缺陷低效率及高误检率问题，设计了一套完整的基于机器视觉的胶囊缺陷检测系统，构建了从上料到传送装置，经过机器视觉光学系统图像采集与工控机图像处理，最后由剔除装置筛选出次品的硬件平台。运用EmguCV开源计算机视觉库和C#开发人机交互软件系统，包括用户管理、方案配置、相机调参、图像算法等功能。通过测试表明，整个胶囊检测系统可在9～12万粒/h的高速运转下稳定运行，误检率小于5%。具有良好的企业应用前景。

机器视觉；缺陷检测；任务并行库；局部自适应阈值

0 引言

胶囊是由胶囊壳制造商销售给药品企业，由药品企业对空心胶囊壳进行药物填充后的成品，因此空心胶囊的质量好坏直接影响胶囊成品的质量，对空心胶囊的缺陷检测成为胶囊制造的一道必备工序。本文所指胶囊检测都是针对空心胶囊。在生产过程中，由于不同工艺、不同环境条件容易产生各类空心胶囊缺陷，如尺寸长短缺陷、斑点、端凹、梅花头、插劈、瘪壳等。目前，国内的胶囊检测仍以传统人工灯检法为主，即在强光照射台下，通过肉眼观察胶囊外形与表面光泽判定胶囊是否合格。此种方法速度较慢，而且不可避免有人为主观因素的错检、漏检，影响制药企业产品质量。为提高检测效率，节约劳动成本，提升制药企业在同行业的核心竞争力，智能化的胶囊缺陷检测系统应运而生。

目前，国外的胶囊检测仪已有较成熟的产品[1]，虽然性能相对稳定良好，但高额的售价让普通中小型企业望而却步。国内也有一些产品，如大恒科技的全自动胶囊检测仪，然而检测效率与系统稳定性还无法与国外产品媲美。基于上述背景，本文对胶囊缺陷检测的各方面技术进行深入的探索和研究，并研制出一套智能化胶囊检测系统。

1 硬件系统设计

1.1 系统组成

胶囊缺陷检测系统的硬件架构主要包括机器视觉光学系统、传送带及传感触发装置、基于PC的图像处理平台、剔除装置及上下料硬件控制模块。其中机器视觉光学系统由三台工业相机配上光学镜头及适配的光源组成。图像处理平台包括工控上位机、扩展图像采集卡(本系统为千兆网卡)和串口卡。传送带与传感触发装置有序地传送胶囊进入相机视野，胶囊借助底板摩擦滚动，满足了360°拍摄需要。工控机与外部硬件控制模块的交互由串口协议通信完成，包括硬件系统中振动槽的震动，排序轮的转动，传送带的启停及状态监测的报警等。系统设计图如图1。

图1 胶囊检测硬件系统架构

1.2 系统工作原理

向料斗中倒入待检测胶囊，为避免造成料槽堵塞，在槽中加入振动器，通过振动使胶囊顺利并逐次进入排序轮的孔槽中。当胶囊被带动旋转至排序轮底部后，自动落入传送装置上的胶囊槽中。其中，传送链条由若干片链板拼接而成，每片链板上有两个略大于胶囊大小的胶囊槽，用于在传送过程中使胶囊的位置相对固定。当系统运行时，直流电机同时带动传送带和排序轮运转，两者的线速度保持一致，从而使排序轮上的胶囊能够准确落入胶囊槽中。

为保证后续图像采集不受外界光线干扰，将整套机器视觉光学系统置于密闭的遮光盒中。其中相机1采集胶囊端部图像信息，相机2与相机3采集胶囊柱面图像信息。系统采用了背光源，在相机视场内的底板中嵌入漫反射光源，并盖上玻璃板。相机1胶囊端面检测另需加上垂直于端面的照射光，为避免对相机2、3光线产生干扰，中间用挡板隔开。相机1拍摄两个胶囊端面，相机2与相机3分别拍摄四个胶囊柱面。本系统借鉴传统人工检测中的复检工序，若相机1胶囊在第一个槽的图像没有检测出缺陷，将移入第二个槽进行复检；若相机2中4个胶囊柱面转动过程没有360°完整呈现[2]，则相机3重复相机2的工序进行复检。以此保证胶囊检测的全面性与准确性。

传送带每移动一个槽，末端的光电传感器将触发一个外部信号促使3台相机进行同步采集，相机开启外触发模式，帧率与传送带频率保持一致。软件系统部分将对采集到的图像进行判定，标记缺陷胶囊，并计算缺陷胶囊所在槽与剔除装置所在槽的间隔个数，当缺陷胶囊到达剔除喷阀上方时，上位机通过串口发送命令，下位机接受指令并控制开启电磁阀将缺陷胶囊喷入次品盒。合格的胶囊通过传送带进入成品盒。工作流程图如图2。

图2 系统工作流程图

2 软件系统设计

2.1 软件框架及人机交互界面

软件系统为整套胶囊缺陷检测的技术核心部分。为便于操作员对硬件进行控制及对系统后台数据库进行访问，设计了包括用户管理、历史数据查询、相机控制与参数配置等模块的简易人机交互界面。为提高开发效率，缩短开发周期，选择Microsoft Visual Studio 2010为开发环境，以C#为开发主体语言，结合.NET下C#封装的Opencv即EmguCV图像处理库进行图像算法开发。选择SQL Sever为软件系统开发数据库。软件流程如图3所示。

图3 系统软件流程图

图4 系统人机交互主界面

首先通过用户登录界面对用户进行验证，并授予用户不同权限。在进行胶囊检测之前，操作员首先需要根据不同颜色胶囊设置相应的检测参数；通过相机设置界面设置相机1、相机2、相机3的参数如增益、曝光时间等；通过检测方案管理界面，操作员将测试好的参数输入到新方案中，若方案已经存在，只需从数据库中读取。回到主界面，选择相应方案并点击“开始”按钮启动检测。实时检测的图像将显示于主界面(图4)，每帧图像在软件后台进行图像处理并判定胶囊是否存在缺陷。检测过程中，程序设计定时器定时监测物料状态，若判定为空则触发报警通知加料，待全批次检测完毕，操作员点击主界面“结束”按钮停止检测。

2.2 图像处理算法

考虑到程序的实时性，本系统在图像处理方面并没有引入耗时的复杂算法，而是以精简的步骤达到最优效果。柱面缺陷检测算法主要分为以下几步：

(1)用改进的中值滤波[3]对ROI中胶囊图像进行预处理，消除点噪声干扰(如图5(b))。

(2)用形态学算子对胶囊图像进行腐蚀，去除胶囊槽边框。用OSTU双阈值分割法提取胶囊轮廓(如图5(c))。

(3)对提取轮廓构建凸包(如图5(d))，将凸包区域进行填充，形成掩码图像(如图5(e))。

(4)掩码图像与原图进行“与”[4]运算，分割胶囊本体图像(如图5(f))。

(5)通过局部自适应阈值[5]对柱面内图像进行处理，得到图像再经过8邻域连接并贴标签获取连通域(如图5(h))。计算所有的连通域面积，根据产品检测指标设定阈值，若柱面内部最大连通域面积(即最大缺陷面积)大于给定阈值，则判定为缺陷胶囊。

图5 柱面检测

胶囊端部缺陷检测算法为基于K邻域链码[6-7]的拐点检测，拍摄的“月牙”状端面图像正常拐点数为2，若图像中拐点数大于2，则判定为缺陷胶囊。端面检测如图6所示。

图6 端面检测

2.3 任务并行处理技术

图7 任务并行技术处理示意图

系统包含三台相机，每台相机拍摄的图像又包含多个胶囊，若对三台相机获得胶囊图像的10个ROI(Region of Intrest)进行串行计算，将使图像处理时间大大延长，效率大幅降低，不便与硬件架构的同步配合。.Net Framework4.0引入了一个新的关于异步操作的API,称为任务并行库(Task Parallel Library,TPL)[8]，其使用task关键字创建任务。TPL可被认为是线程池之上的又一个抽象层。在线程池的基础上进行优化诞生了任务并行库，相比于线程池，TPL在灵活性上更具有优势。为优化处理时间，计算机会根据CPU的负载自动向多个任务分配最佳线程数[9]。本系统采用该技术，通过引用System.Threading.Tasks命名空间下的Task类创建任务，利用任务并行库对多幅胶囊图像进行高速处理。如图7所示，在主线程中创建三个相机线程，每个相机线程中再创建对应胶囊个数的task，等待处理完毕返回结果后，自动销毁已建立的线程重新等待下一次调用。

3 现场测试结果

在生产现场取样不同颜色样本空心胶囊进行检测测试。对检测后的成品与次品个数进行统计计算，误检率如表1所示。

表1 胶囊抽样检测结果

测试结果显示，不同颜色胶囊误检率均控制在5%以下，效果良好。且整套胶囊检测系统在9～12万粒/h的高检测速度下，可长时间保持稳定运转，并无出现停止工作等异常情况。检测速度与系统稳定性均达到预期水平。

4 结束语

本套设备是自主研发的智能化检测系统，运用精简而高效的图像算法结合任务并行技术，保证了检测系统软硬件实时性配合。检测效果、检测速率及系统稳定性能均可达到预期水准，具有可观的企业应用价值。

[2] KARLOFF A C, SCOTT N E, MUSCEDERE R. A flexible design for a cost effective, high throughput inspection system for pharmaceutical capsules[C].Industrial Technology, 2008.ICIT 2008. IEEE International Conference on， IEEE, 2008: 1-4.

[3] 李刚，范瑞霞. 一种改进的图像中值滤波算法[J]. 北京理工大学学报，2002，22(3)：376-378.

[4] 王娟，周永霞，徐冰俏，等. 图像处理在胶囊外形缺陷检测中的应用[J]. 中国计量学院学报，2012，23(3)：239-245.

[5] BERNSEN J. DYNAMIC thresholding of grey-level images[C].International Conference on Pattern Recognition, 1986: 1251-1255.

[6] CHETVERIKOV D. A simple and efficient algorithm for detection of high curvature points in planar curves[C].Computer Analysis of Images and Patterns, Springer Berlin Heidelberg, 2003(2756): 746-753.

[7] SARFRAZ M, MASOOD A, ASIM M R. A new approach to corner detection[J].Computer Vision and Graphics， 2006(32): 528-533.

[8] 钱博文,李涛,韩俊刚，等.多态并行处理器中的线程管理器设计[J].电子技术应用,2014,40(2):30-32.

[9] LEIJEN D, SCHULTE W, BURCKHARDE S. The design of a task parallel library[C].Acm Sigplan Notices, ACM, 2009, 44(10): 227-242.

Design of capsule defect detection system based on machine vision

Xie Yishou1, Li Qing1, Zheng Lixin1, Zhou Kaiting2, Pan Shuwan1

(1. Engineering Research Center of Huaqiao University Fujian Industrial Intelligent Technology and System, Huaqiao University,Quanzhou 362021, China;2. College of Information Science and Engineering, Huaqiao University, Xiamen 361021, China)

In view of low efficiency and high false detecting rate of traditional manual visual inspection, a set of capsule defect detection system based on machine vision is completely designed. A hardware platform from capsule filling to delivery is built. Then through machine vision optics image acquisition system and IPC image processing, finally the defectiue goods are screened out by removing device. Interactive software system is developed using open source computer vision library EmguCV and C #, which including user management, program configuration, the camera parameter adjustment, image arithmetic functions. Tests show that the capsule detection system can run stably at high-speed operation of 90 000～120 000/h, and the false detection rate less than 5%. It has a good business prospect.

machine vision; defect detection; task parallel library; local adaptive threshold

福建省科技厅项目(2013H2002)；华侨大学研究生科研创新能力培育计划资助项目(1400422006)

TP391.4

A

1674-7720(2016)07- 0069- 04

谢一首，李庆，郑力新，等. 基于机器视觉的胶囊缺陷检测系统设计[J].微型机与应用，2016,35(7)：69-72.

2015-12-02)

谢一首(1988-)，男，硕士研究生，主要研究方向：光电信息检测与智能计算、机器视觉与模式识别。

李庆(1991-)，男，硕士研究生，主要研究方向：光电信息检测与智能计算、机器视觉与模式识别。

郑力新(1967-)，通信作者，男，博士，教授，主要研究方向：工业自动化技术、人工智能。E-mail:1275373176@qq.com。