张 波， 汤春明(. 天津工业大学 电子与信息工程学院， 天津 300387； 2. 天津师范大学 计算机与信息工程学院， 天津 300387)

基于相对总变差模型与自适应形态学的织物瑕疵检测

张 波1,2， 汤春明1
(1. 天津工业大学 电子与信息工程学院， 天津 300387； 2. 天津师范大学 计算机与信息工程学院， 天津 300387)

为解决目前基于图像处理的织物瑕疵检测算法中，因织物纹理的多样性与瑕疵形状尺寸的不确定性所造成的检测效果差的问题，提出一种基于结构-纹理模型与自适应数学形态学的织物瑕疵检测算法。首先采用相对总变差模型对织物图像进行滤波以去除织物纹理，然后在得到的灰度图像上直接进行基于自适应邻域的灰度形态学运算，形态学算子采用开运算算子，最终得到织物瑕疵的增强图像。采用基于相对总变差模型与自适应形态学相结合的方法与2种已知的Gabor算法进行比对，对4类典型织物瑕疵进行检测实验和分析。结果表明，本文方法能更好地提取织物瑕疵。

织物瑕疵； 结构-纹理模型； 相对总变差模型； 数学形态学； 自适应邻域

织物质量是纺织企业在市场竞争中获胜的核心，而织物瑕疵是影响纺织品质量的重要因素[1]。目前大部分的纺织企业仍采用人工方法检测织物瑕疵，但人工方法检测速度低，漏检率高，并且随着国内人力成本的不断升高，其经济成本不断增大[2]。

20世纪70年代以来，随着数字图像处理技术的不断发展，机器视觉在工业上开始广泛地应用，这为织物瑕疵的自动检测提供了新的方法和手段。基于数字图像处理技术的织物瑕疵自动检测分为3个步骤：瑕疵判别、瑕疵分割以及瑕疵分类[3]。本文研究主要关注瑕疵的判别与分割。现有的瑕疵判别与分割算法很多，可以概括分为3类：频谱法、统计法和模型法。其中应用最为广泛的是频谱法[4]，其运用的技术主要包括傅里叶变换[5]、小波变换[6]和Gabor小波变换[7]等。频谱法的核心是将在空间域内很难去除的织物纹理转换到变换域内进行滤波，或者以无瑕疵图像为标本采用最优化方法实现对瑕疵图像的重建。以Gabor小波变换为例，为实现最优化重建，小波参数的确定算法复杂，计算量大，且需要根据织物纹理的不同不断调整。

去除织物纹理后的图像一般采用形态学方法进行增强，现有的形态学方法多采用二值刚性形态学滤波器对图像进行增强，以提高后续对瑕疵点的分割精度。但该方法存在2个缺点：1)含有织物瑕疵的灰度图像在二值化过程中对阈值的选取非常敏感，选取不当会丢失图像中的瑕疵信息；2)刚性形态学滤波器在结构元素的选取上高度依赖于瑕疵的尺寸与形状，而实际应用中瑕疵的尺寸与形状是多种多样的。因此，采用二值刚性形态学滤波器对瑕疵图像进行增强具有较大的局限性。

针对以上问题，近年来，不断有学者提出解决方案。MAK等[8-9]提出了基于Gabor小波网络与最优形态学滤波器的织物瑕疵检测算法，其中，形态学滤波的结构元素基于Gabor小波提取得到的纱线方向与宽度信息构建。李刚等[10]采用灰度共生矩阵获得织物纹理的方向和尺度信息，同时结合经验自适应的构建形态学滤波所用的结构元素，该方法实现了对不同纹理织物的自适应形态学滤波。CHANDRA等[11]提出了基于人工神经网络的结构元素的选取算法，得到的结构元素用于二值图像的形态学重建以提取瑕疵特征。上述方法实现了针对不同织物纹理结构元素的自适应性，但是该类方法一旦确定结构元素，其尺寸和形状依然是不变的。对于一幅图像中存在多个瑕疵，且瑕疵尺寸存在较大差异的情形，根据形态学运算的原理，体积小于结构元素尺寸的瑕疵基本会被忽略，从而影响检测的准确度。

基于以上分析，本文提出一种基于相对总变差模型[12]与灰度自适应数学形态学的织物瑕疵检测算法。采用相对总变差模型用于对织物图像的纹理去除，将纹理与瑕疵进行分解；在分离出的瑕疵图像中，采用灰度自适应数学形态学方法对瑕疵实现增强。

1 织物纹理去除

织物纹理是指织物组织中的循环结构，即经线与纬线的有规律交织。结构纹理图像分解模型的理论基础是将带有瑕疵的织物图像设定为瑕疵(卡通结构)与织物经纬交叉结构(纹理)的叠加，本文采用变差与范数规范化卡通部分与纹理部分。通过公式的最小化过程即可分离卡通结构与纹理结构，实现对于织物纹理的去除。基于织物纹理结构的多样性，传统的总变差模型在去除织物纹理时存在较大局限性，因此，本文选用一种改进的相对总变差模型用于对织物纹理的去除。图1示出本文算法框图。

图1 算法框图Fig.1 Block diagram of proposed algorithm

相对总变差模型是LI等[12]在2012年提出的一种用于提取图像主结构的方法，本文使用该模型用于织物纹理的去除。其模型为

(1)

式中：(Sp-Ip)2称为保真项；S代表输出图像；I代表输入图像；p代表图像像素的索引号；式中第2项称为相对总变差；D(p)称为窗口总变差；L(p)称为窗口固有变差；ε代表一个微小量，以防止除零；λ>0，称为调整参数，控制保真项与相对总变差的比例。

Dx(p)及Dy(p)定义为

(2)

Lx(p)及Ly(p)定义为

(3)

式中：R(p)代表以p为中心的矩形区域；∂x与∂y分别代表2个方向的偏微分；g代表权重参数，其定义为

(4)

式中，σ的作用是控制窗口的空间尺寸。

2 织物瑕疵的数学形态学处理

织物图像在去除纹理后，一般采用形态学滤波器进行图像的增强，为最后的图像分割做准备。采用形态学方法处理织物瑕疵对于瑕疵的尺寸和形状都非常敏感，所以采用基于软件算法的形态学处理，在瑕疵的尺寸相对于织物结构较小时会给出很差的结果[13]。

在经典的数学形态学中，结构元素对于图像区域中的所有像素点都是相同的，本文称这种非自适应结构元素为刚性的。一个刚性的结构元素用于处理整幅图片经常是不合适的，因为图像的结构会随着形状、尺寸、方向等变化，这对所有像素点都使用同一个结构元素是一个挑战[14]。

Johan Debayle等[15]于2006年提出了基于一般自适应邻域的形态学处理方法，其自适应邻域的定义为

(5)

式(5)对于自适应邻域的定义包含2个条件：同质性检测，像素y与种子像素x在某种度量函数h的作用下，其距离差小于阈值m；连通性检测，像素y与种子像素x必须是连通的。

本文提出的形态学算法基于式(5)构建结构元素，其中度量函数h采用图像灰度值，连通性规则采用八邻域；形态学滤波算法采用自适应开运算，以实现图像的增强。其中自适应膨胀、腐蚀及开、闭运算为

(6)

3 实验结果与分析

在实际生产过程中，瑕疵的种类多达50余种，主要分为3类：点瑕疵、线瑕疵和面瑕疵。本文选择了TILDA数据库中4种具有代表性的图片，均为布匹瑕疵中出现频率较高的样本，因此，实验的实际应用价值较高。瑕疵图像的增强结果如图2～5所示，同时将实验结果与2种目前流行的算法进行比较。图6示出4种瑕疵图像的分割结果。

图2 点状瑕疵及实验结果Fig.2 Point defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

图3 线状瑕疵1及实验结果Fig.3 First line defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

图4 线状瑕疵2及实验结果Fig.4 Second line defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

图5 面瑕疵及实验结果Fig.5 Surface defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

图6 4种瑕疵分割结果Fig.6 Four segmentation results of defects. (a) Point defect; (b) First line defect; (c) Second line defect; (d) Surface defect

从对4类瑕疵的检测结果可以看出，本文算法在图像增强环节对于不同类型的织物都能很好滤除其纹理结构，其中图2及图5表现得尤为明显，而文献[4]和文献[7]的算法均不能完全去除纹理；此外，从图2、3的结果看出，在去除纹理的基础上，对于前2种算法无法提取到的小尺寸瑕疵，本文算法也能较好地提取且定位其位置。

针对一幅图像中存在多个瑕疵的特殊情况，本文专门选取3种具有代表性的图片进行实验。图7示出一种典型的多瑕疵织物图像增强及分割结果。可看出，本文算法在分割出大尺寸瑕疵的同时，小尺寸瑕疵同样得以保留，且被准确分割。

图7 多瑕疵织物图像增强及分割结果Fig.7 Enhancement and segmentation results of multi-defects. (a) Original fabric; (b) Enhancement results using proposed algorithm; (c) Segmentation results

4 结 语

由于织物纹理的多样性和瑕疵形状尺寸的不确定性，现有的基于图像处理的织物瑕疵检测算法准确率较低。针对这个问题，本文提出一种基于相对总变差模型和自适应数学形态学的织物瑕疵检测新算法。其中针对织物纹理的去除采用了相对总变差模型，针对瑕疵形状与尺寸的多样性采用自适应数学形态学运算进行瑕疵图像增强，提高了算法针对不同瑕疵提取的通用性。结果表明：本文算法相比于目前已有算法能够更好地去除各种织物纹理，同时提取不同尺寸形状的瑕疵，提高了检测的准确率，具有较强的自适应性和鲁棒性。

FZXB

[1] 李文羽, 程隆棣. 基于机器视觉和图像处理的织物疵点检测研究新进展[J]. 纺织学报, 2014, 35(3): 158-164. LI Wenyu, CHENG Longdi. New process of fabric defect dection based on computer vision and image processing [J]. Journal of Textile Research, 2014, 35(3):158-164.

[2] KUMAR A. Computer vision-based fabric defect detection: a survey [J]. IEEE Transactions on Industrial Electronics,2008, 55(1):348-363.

[3] 邹超, 汪秉文, 孙志刚. 基于机器视觉的织物疵点检测方法综述[J]. 天津工业大学学报, 2009,28(2): 78-83. ZOU Chao, WANG Bingwen, SUN Zhigang. Survey on fabric defect detection based on machine vision [J]. Journal of Tianjin Polytechnic University, 2009,28(2): 78-83.

[4] BODNAROVA A, BENNAMOUN M, LATHAMS. Optimal gabor filters for textile flaw detection [J]. Pattern Recognition, 2002, 35(12):2973-2991.

[5] CHAN CH, PANG G. Fabric defect detection by Fourier analysis[J].IEEE Transactions on Industry Applications, 2000, 36(5):1267-1276.

[6] SERDAROGLU A, ERTUZUN A, ERCIL A. Defect detection in textile fabric images using wavelet transforms and independent component analysis [J]. Pattern Recognition and Image Analysis, 2006, 16(1):61-64.

[7] JING Junfeng, YANG Panpan, LI Pengfei, et al. Supervised defect detection on textile fabrics via optimal gabor filter [J]. Journal of Industrial Textile, 2013, 44(1):40-57.

[8] MAK K L, PENG P, LAU H Y K. Optimal morphological filter design for fabric defect detection [C]//IEEE International Conference on Industrial Technology. [S.l.]:IEEE, 2005:799-804.

[9] MAK K L, PENG P, YIU K F C. Fabric defect detection using morphological filters [J]. Image and Vision Computing, 2009, 27(10): 1585-1592.

[10] 李刚, 杨欣, 唐庭阁. 基于自适应形态学滤波器的布匹瑕疵检测算法[J]. 吉林大学学报(信息科学版), 2012, 30(2):157-163. LI Gang, YANG Xin, TANG Tingge. Fabric defect detection based on adaptive morphological filter algor-ithm [J]. Journal of Jilin University (Information Science Edition), 2012, 30(2):157-163.

[11] CHANDRA J K, BANERJEE P K, DATTA A K. Neural network trained morphological processing for the detection of defects in woven fabric [J]. Journal of the Textile Institute, 2010, 101(8):699-706.

[12] LI Xu,QIONG Yan,YANG Xia, et al. Structure extraction from texture via relative total variation [J].ACM Transactions on Graphics, 2012, 31(6):139.

[13] DATTA A K, CHANDRA J K. Detection of Defects in Fabric by Morphological Image Processing[M]. Vienna: Woven Fabric Engineering,2010:217-232.

[14] CURIC V, LANDSTROM A, THURLEY M J, et al. Adaptive mathematical morphology： a survey of the field [J]. Pattern Recognition Letters,2014,47(1):18-28.

[15] DEBAYLE J, PINOLI J C. General adaptive neighborhood image processing [J]. Journal of Mathematical Imaging and Vision, 2006, 25(2):245-266.

Fabric defect detection based on relative total variation model and adaptive mathematical morphology

ZHANG Bo1,2, TANG Chunming1
(1.SchoolofElectronicsandInformationEngineering,TianjinPolytechnicUniversity,Tianjin300387,China;2.SchoolofComputerandInformationEngineering,TianjinNormalUniversity,Tianjin300387,China)

Because of the variety of fabric texture and the uncertainty of the shape and size of defects, the existing fabric defect detection methods based on image processing are low in accuracy. In order to solve this problem, a new method of fabric defect detection based on a structure-texture model and the adaptive mathematical morphology was designed. The fabric texture was firstly filtered based on the relative total variation model, then, the gray morphological operation based on adaptive neighborhood was directly performed on the gray level image, which is morphological opening, finally the enhanced image of fabric defects was obtained. The algorithm based on the relative total variation model and the adaptive mathematical morphology as well as the other two known algorithms based on Gabor filter was carried out on 4 types of fabric defects with high frequency, and the results show that the method can more effectively extract the fabric defects.

fabric defect； structure-texture model； relative total variation model； mathematical morphology； adaptive neighborhood

2016-06-20

2017-02-15

张波(1981—)，男，讲师，博士生。主要研究方向为材料检测技术。E-mail:tjnuzhangbo@163.com。

10.13475/j.fzxb.20160604706

TS 101.9

A