张中然 焦波 孙志勇 丁明娜

摘要：铝塑泡罩包装是目前主要的药品包装形式，其表面在不同的光照和拍摄角度下成像情况变化较大。为了解决包装过程中产生的漏粒问题，采用视觉在线检测技术代替传统人工检测，设计了目标区域分割算法，对不同尺寸、形状的铝塑泡罩包装的药品快速准确提取目标区域。针对实际检测中光照情况不稳定和药品包装表面复杂的反射情况，设计了图像分割算法，可在准确分辨药片位置。开发了基于OpenCV和Qt的视觉检测系统，并搭建实验平台，采用30万像素200帧摄像机拍摄，图像检测速度在150ms以内，能适应非白色药品的多种铝塑泡罩包装的检测。系统对照明要求低、适应性强。可以代替人工检测。

关键词：

药品包装检测；图像分割；图像处理

DOI：1015938/jjhust201705012

中图分类号： TP216

文献标志码： A

文章编号： 1007-2683（2017）05-0065-05

Detecting System for Pharmaceutical AluminumPlastic Blister

Packaging under Common Lighting Conditions

ZHANG ZHongran1，JIAO Bo1，SUN Zhiyong2，DING Mingna1

（1Rongcheng Campus，Harbin University of Science and Technology，Rongcheng 264300，China；

2Shandong Dynemarine Biopharmaceutical Limited by Share Ltd，Rongcheng 264300，China）

Abstract：At present，aluminumplastic blister packaging is the main method of pharmaceutical packaging， whose imaging changes greatly as the light or shooting angle varies on its surface Therefore， the visual lineinspection technology， instead of traditional manual inspection， is adopted in this paper to solve the grainleaking problem during the packaging process An segmentation algorithm of target region is designed to precisely extract the target region of aluminumplastic blister packaging with different sizes or shapes At the same time， an image segmentation algorithm is designed to distinguish the position of tablets accurately under the unstable light and complicated surface reflections in the actual detection And then， the visual inspection system based on Open CV and Qt has been developed Using 200 million pixels 30frame camera， an experiment platform has been set up， which can adapt to a variety of nonwhite pharmaceutical packaging of aluminumplastic blister detection， as its image detection speed must be within 150m/s Besides， the system has lower requirement for illumination and can replace manual inspection with its great adaptability

Keywords：detection for medicine packaging； image segmentation； image processing

收稿日期： 2016-01-17

基金項目： 山东省高等学校科技计划项目（J16LB62）

作者简介：

张中然（1983—），男，硕士；

孙志勇（1986—），男，学士

通信作者： 焦波（1981—），女，博士，Email：jiaobo@hrbust.edu.cn

0引言

铝塑泡罩包装是目前发展前景最好的药品包装材料之一，由于在包装过程中会出现药品漏装、缺损等情况，因此药品包装质量检测成为药品生产中的重要环节[1-2]。目前国内的许多制药厂家，还是采用人工检测的办法来检测药品包装质量。人工挑选成本高、分选差异性大，劳动强度大，难以保证准确度。因此代替人工实现药品铝塑泡罩包装检测自动化设备很有必要。

近年来发达国家在药品包装在线质量检测方面不断开展研究。例如，美国康耐视公司开发InSight视觉系统可在药片封装前进行检测，但系统操作复杂，价格高，并要求操作者具备一定的专业知识[3]。美国 PTI公司的泡罩药品检测系统，可以检测泡罩缺粒、破损、药片颜色、形状基本功能，其检测速度有待提高[4]。德国的MVTec公司，加拿大的达尔萨（DALSA）公司分别推出了视觉检测产品。我国视觉检测产品的研究尚处于起步阶段，天津大学搭建了基于DSP了泡罩药品视觉检测系统，西安至信控制系统集成有限责任公司推出的基于工控机的药品包装检测产品，文[4]指出以上产品或未投入实际工业应用或者系统对拍摄环境要求高致使产品结构复杂，且需要工控机完成处理过程，系统体积过大。大恒图像研发的药片检测机，文[3]指出其检测精度过高，对拍照条件要求高，致使机构复杂不易对生产线直接进行改造。endprint

很多图像检测系统未投入实际使用的一个主要原因是对照明条件变化非常敏感，检测结果在不同的光照下不稳定[5-6]。对于药品铝塑泡罩包装而言，其情况更加复杂，因为药品泡罩包装铝塑表面为强反射，凸起的药片会在周围产生阴影，凸起的弧面顶端会反射周围光源形成光斑，而且由于封装工艺，包装本身不平整，背景反光不均匀，这都进一步增加了检测的难度[7-12]。以黄色药片为例，提取能区分背景和药片的蓝色分量，在照射条件中改变环境光，其最佳的灰度分割值会放生变化，如图1所示。第一组图片的灰度分割值是85取得了很好的效果，但由于环境光的变化，后面两组图片分割效果不是很好，为后续的处理带来了很大的困难。所以很多检测系统为了可以提高实践检测的稳定性，都设计了特定的光源以及拍摄环境，这样做使得检测机构复杂，不易对现有生产线进行改造，限制了检测系统的使用[3，13-14]。另外，如图2所示，相同的照明环境下，由于药板的强反射，加上弯曲情况和摆放情况不同，表面成像也会有较大差异。

检测速度也是制约检测系统应用的因素之一。随生产的集成和自动化程度越来越高，实时控制，体积小巧，有自主知识产权的智能化设备已经成为发展趋势，所以越来越多的嵌入式系统代替传统工控机，由于一般的嵌入式系统相对与工控机来说运算速度较低，这就对图像处理算法提出了更高的要求[4，15-16]。

本文开发了基于视觉的铝塑泡罩药品包装检测系统，对非白色药品缺粒进行检测，设计了不需要图像前期处理直接对药品包装进行定位的二维间隔扫描法，提高了算法的处理速度，设计了在一般照明条件下，对药片进行分割和个数统计的图像算法，并搭建了试验平台对检测效果进行检验。

1二维间隔扫描法目标区域提取

图像检测只需要处理药品包装的区域，无需对相机拍摄的整幅图片进行处理，而且在实际生产线上药品包装的排列是大致规律的，如图3所示，所以本文应用了平行于相机坐标XY轴的图像切割提取方式，虽然由于相机坐标和实际药品包装边缘会有一定倾斜，使提取区域增大，但实际当中增加值比较小。本文研究中，相机的X轴方向与包装机运行方向大致相同，药板长边与包装机运行方向大致平行。将拍摄的图片在X轴方向间隔t个像素取1列，共取n列，n的數值如式1所示：

n=nxt（1）

式中：nx为图像列数。分别求出各列像素和Sx（j）如式2所示

Sx（j）=∑nyi=1f（i，tj），j=1，2，3，4，……，n，i=1，2，3，4，……，ny（2）

式中：f为原图像像素灰度值，Sx（j）为在宽度方向上间隔t个像素选取一列的所有像素灰度值之和，ny为图像行数。当t=6时，Sx（j）值的分布如图4所示，可以看到所取列的灰度值和在药品区域比较高，背景区域较低，而且由于药品包装的表面强反射，光照越强这种差别也会越大。之所以高低值之间不是突然变化，是因为药板相对于相机坐标存在一定倾斜，调整传动机构可以减小这种误差。截取精度取决于选择t的大小，可以根据实际情况进行选择。

然后用最小二乘法以多项式（3）对离散数据进行曲线拟合。在实验阶段中，对100张图片数据进行了数据拟合，当拟合函数次数k=20时，F（j）在数据点（j，Sx（j））处的偏差平方和最小，拟合效果最优，得到拟合函数F（j）如图5所示。

F（j）=a0+a1j+a2j2+…+akjk（3）

求一阶导数F′（j）为零的所有根，并取相邻根的纵坐标值进行依次求差，找出最大值Um和最小值Un，如式（4）所示，对应的tjm和tjn就为目标所在列的范围。这种方法可以使数据波形变得平缓，起到近似滤波的作用，使受到外界环境的因素大大降低。目标所在行范围求法相同与列范围相同，这样就可以确定检测目标所在的区域。

F′（j）=a1+2a2j+…+kakjk-1（4）

Um=max{[F（j1）-F（j2）]，[F（j2）-F（j3）]，…[F（jk-2）-F（jk-1）]}，（1≤m≤k-1）

Un=min{[F（j1）-F（j2）]，[F（j2）-F（j3）]，…[F（jk-2）-F（jk-1）]}，（1≤n≤k-1）

2一般光照条件下的图像分割

所谓一般光照条件是指不需要使用复杂的工业光源，如漫散圆顶光源、平顶光源等，而使用普通光源，如平板LED灯、日光灯管，对摄像镜头也没有经过特殊的调整。

21图像的预处理

由于泡罩包装药品的圆弧凸起表面会反射光源等发光体，呈现光斑，给后期的图像处理带来不便，实验时通过滤波方式减少光斑的影响，再与后面介绍的图像处理算法配合，得到了比较满意的结果。经对多种滤波方式进行比较后，最后选择了高斯滤波。

高斯滤波器对图像初步降噪，其是对每一个像素点做高斯卷积。在高斯滤波器中，像素的权重与它离开中心像素点的距离成正比。二维高斯函数如式（5）所示[17]：

G0（x，y）=Ae-（x-ux）22σ2x+-（y-uy）22σ2y（5）

归一化系数A使得不同权重之和为一，σ值控制高斯函数的高度。这个值越大，生成的函数越平坦，该处理使得图像看起来变得模糊。

22图像分割

通过遍历图像，比较每一个点与目标颜色点的距离，选择其中距离低于某一阈值的部分保留下来[18]。结果如图6中以白色区域所示。

在准备使用分水岭算法获得图像的边缘之前，为了避免均值区过多，首先生成前景图和背景图，叠加后再进行分割。通过多次膨胀获得背景图，如图7（a）所示；通过多次腐蚀后，颜色取反得到前景图，如图7（b）所示。通过使用腐蚀与膨胀，滤除了图像中的噪点与孔洞[19-20]。

使用分水岭算法，通过对背景图与前景图的范洪处理，得到比较准确的目标提取区域，如图8所示。在一般光照射环境下，成功地将背景图像与前景药片分离，为后处理轮廓检测与形状描述奠定了基础。endprint

3连通区域轮廓检测及数量统计

为了计算药片的个数，对连通区域进行轮廓检测。使用了OpenCV的FindContours函数用于检测连通区域的轮廓。对图像进行连通区域轮廓提取，需要首先声明轮廓向量与轮廓参数向量，然后通过绘制轮廓函数绘制图像，即连通区域的轮廓，结果如图9所示，由于采用普通LED平板灯照明，所以药品轮廓提取精确度不高。计算出连通区域的轮廓后，通过迭代器对轮廓向量进行遍历，得到检测出的轮廓数量，从而统计出药片个数。

4药品泡罩包装检测实验平台

检测平台主要针对泡罩包装生产过程中出现的缺粒问题实现了检测与剔除功能，其包含五个部分：工控机、下位机控制单元、工业相机、光源、分选装置，结构如图10所示。相机下方的光电传感器检测的药片位置，通过下位机传递给上位机软件，上位机软件控制工业相机拍摄，并对图像进行分析，分析完成后将结果传递给下位机，由下位机控制分选装置执行相应动作。工控机用户界面分为下位机串口设置、相机设置、药品设置、传送带控制、分选装置控制、检测状态显示、图像采集结果显示、视觉检测处理结果显示等部分，如图11所示。

在实验平台上，反复使用药品样本（如图12所示）进行检测，每次1000次检测，其中500次检测的为不合格品。分别在8：00、12：00和17：00在进行实验，表1为该实验平台在实验室环境下统计结果，其中第二次实验误检是由于中午光線直射过强，药片包装表面强反射，引起的传感器误动作，在实际应用中经调整后可以改善。

5结论

本文针对药品铝塑泡罩包装在一般光照条件下检测的问题，设计了快速提取目标区域和反光不均匀背景下的目标识别方法。二维间隔扫描法可以不经过前期处理，快速提取目标区域，减小了处理图片的尺寸，从而提高了计算速度。采用30万像素200帧摄像机拍摄，图像检测速度在150ms以内，如提高工控机性能，速度可进一步提高，满足了大多数检测的需求。设计目标识别方法其对拍摄环境要求低，设备简单，增强了检测系统的适应性，可以便捷的对现有生产线进行改造。搭建了药品包装质量检测系统实验平台，对系统的有效性进行了验证。

参 考 文 献：

[1]朱俊.药品铝塑泡罩包装印刷材料的发展创新引领未来[J].印刷质量与标准化，2014（9）：16-22

[2]杨忠敏 解读药品的铝塑泡罩包装的应用与发展[J]. 机电信息，2015（5）： 56-59

[3]符翔 泡罩包装药品视觉检测系统图像处理方法研究[D]. 湘潭： 湖南科技大学，2014：5-18

[4]吕忠伟 泡罩药丸包装缺陷的机器视觉检测技术研究 [D]. 武汉： 华中科技大学，2011：8-20

[5]JOHN A， HUDE W， SCALZETTI E M， et al Performance of a Single Lookup Table for Displaying Chest CT images[J]. Academic Radiology， 2004， 11（6）：609-616

[6]RESENDIZE， HART J M， AHUJA N Automated Visual Inspection of Railroad Tracks[J]. IEEE Transactions on Intelligent Transportation Systems， 2013， 14（2）：751-760

[7]贺振东 基于反向PM扩散的钢轨表面缺陷视觉检测[J]. 自动化学报，2014，40（8）： 1667-1679

[8]曹频 球面光学元件表面疵病评价系统中关键技术研究[D]. 浙江大学， 2015：10-50

[9]汪佛池， 闫康， 张重远，等 采用图像分析与神经网络识别绝缘子憎水性[J]. 电机与控制学报， 2014， 18（11）：78-83

[10]ZHANG Y， TANG J， YANG D Detection of Defects on A Shiningmetal Surface Using Reflective Fringe Pattern[J]. Metrology & Measurement Technology， 2013（33）：100-102

[11]SU P， KHREISHI M， SU T， et al Aspheric and Freeform Surfaces Metrology with Software Configurable Optical Test System： A Computerized Reverse Hartmann Test[J]. Optical Engineering， 2013， 53（3）：123-128

[12]YU D， HAN J， JIN X， et al Efficient Highlight Removal of Metal Surfaces[J]. Journal of Signal Processing， 2013， 103（10）：367-379

[13]王义文， 蔺勇智， 贾冬开， 等 空气与油液介质下钢球表面缺陷检测效果对比分析[J]. 轴承， 2010（5）：37-39

[14]张怡卓， 许雷， 丁亮， 等 基于图像融合分割的实木地板表面缺陷检测方法[J]. 电机与控制学报， 2014（7）：113-118

[15]周祖德，龙毅宏 嵌入式网络数控技术与系统[J]. 机械工程学报，2007，43（5）： 1-7

[16]赵继焊缝磨抛机器人视觉算法实现及其试验研究[J]. 机械工程学报，2013，49（20）： 42-48

[17]孙慧利用特征空间主分量分解实现自适应小目标检测算法[J]. 哈尔滨理工大学学报， 2011， 16（3）： 62-67

[18]JIANG M H， KIM SW， FALOUTSOS C et al.Accurate Approximation of the Earth Movers Distance in Linear Time[J]. Journal of Computer Science and Technology， 2014， 29（1）：142～154

[19]VACHIER C， MEYER F The Viscous Watershed Transform[J]. Journal of Mathematical Imaging and Vision， 2005， 22（2-3）：251-267

[20]佘青山， 杨伟健， 田卓， 等 基于运动轮廓标记提取的分水岭运动目标检测[J]. 大连理工大学学报， 2014（6）：656-661

（编辑：关毅）endprint