孟 朔， 夏旭文， 潘如如， 周 建， 王 蕾， 高卫东

(生态纺织教育部重点实验室(江南大学)， 江苏 无锡 214122)

织物密度测量是纺织来样设计与质量控制中重要的一环，目前仍然主要依靠人工进行测量，耗时耗力且效率低下，因此纺织产业迫切需要一种准确高效的织物密度自动检测方法。

随着计算机图像处理技术的发展，目前已有许多基于机器视觉的织物密度自动检测方法，且取得了些成果。一般而言，现有方法主要步骤为织物图像采集与图像处理。织物图像主要通过扫描仪或者工业相机来采集。为提高采集图像的质量，便于后续处理，许多新的图像采集系统被设计出来，例如背光系统[1]、双侧相机系统[2]、多光源系统[3]等，然而以上系统受相机分辨率的影响，处理视野(FOV)往往有限，无法达到织物密度测量所要求的10 cm内的纱线根数[4]。同时织物密度均匀性对于织物的外观特征是十分重要的，密度不匀可能导致后整理染色过程中出现严重色差影响织物品质，而现有的方法大多无法对织物的密度均匀性做出评价。Schneider等[5]提出了一种机上织物密度实时检测系统，可检测宽幅织物，然而该方法的品种适应性有限且设备造价高昂。

目前织物图像处理方法主要分为频域法和空域法。典型的频域法有傅里叶变换(FFT)[6]和小波变换(DWT)[7]，然而织物组织与色纱排列会影响到频域信号，影响到检测准确度。目前常用的是空域法，主要包括灰度投影[8]、霍夫变换[9]、灰度共生矩阵[10]等方法，这些方法往往需要针对不同织物调节参数，方法泛化性有待提高。

在前期研究[11]中，提出了一种基于卷积神经网络的检测方法，该算法达到了较高的检测精度，然而其基于便携式设备，处理视野有限，存在一定误差。因此，本文研究设计开发了一套可采集宽幅织物的离线检测设备，并对所提出的基于卷积神经网络的算法进一步改进，实现对宽幅织物的密度检测，同时评价织物密度均匀性。

1 图像采集系统与数据集建立

1.1 图像采集系统

受相机分辨率的限制，固定相机的采集系统视野有限，单幅图像对应的实际尺寸较小，导致实际的密度测量存在误差，因而本文设计开发了一套电动滑动式织物图像采集系统，通过匀速移动相机来获得完整的织物图像，该系统的示意图如图1所示。其中，相机通过固定在移动滑台上连续采集织物图像，滑台的移动速度设定为10 m/min, 其较长的移动距离保证了宽幅织物密度的检测。相机采用MER-160-227U3C,其分辨率为160万像素，采集帧率为227帧，同时采用低曝光率保证高速移动条件下仍可采集清晰的织物图像。相机配备Computar Macro Zoom变倍镜头，以获得带有清晰纱线结构的织物图像。相机下通过LED光源提供稳定的光照。

采集过程中，织物表面应保持干净整洁，织物放置到标准位置，使到相机的距离固定以确保固定空间分辨率(PPI)，采集过程中采用了2种不同的分辨率与尺寸，图像的PPI分别设定为1 004像素/cm与1 843像素/cm，单幅织物图像的尺寸分别为1 440 像素×1 080像素与1 280像素×720像素。

图1 图像采集系统Fig.1 Image acquisition system. (a) Diagram of system;(b) Camera module

1.2 数据集建立

图2 数据集经纬密度与织物组织分布Fig.2 Distribution of warp and weft densities and fabric types in dataset

目前，基于深度学习的目标识别方法多采用有监督方式，本文采用此前研究中所建立的包含详细织物参数以及标记有纱线位置的织物图像数据集[11]，该数据集包含400多种不同织物共800幅图像，织物类型以及织物密度的分布如图2所示。其涵盖了常见织物以及各种复杂织物，而且织物密度分布较为广泛，有助于提高网络模型的泛化能力。需要注意的是，本文所提出的多尺度卷积神经网络不依赖于图像采集系统，只需所采集的图像具有清晰可辨的纱线结构即可得到较为理想的效果。

通过卷积神经网络来检测一幅织物图像的密度有2种方式：一种是输入织物图像直接输出经纬密；另一种是先间接预测纱线位置图，经后处理检测织物经纬密。尽管直接预测经纬密的端到端方式具有较高的效率，方法也较为简便，但是由于本文建立的数据集大小仍有限，而且此方法无法观察中间处理结果，难以验证网络模型是否真正学习到织物特征，因而本文采用间接预测纱线位置的方式检测织物密度。

基于此，本文采用一种基于高斯核的方式生成织物特征热力图，利用特征热力图来训练网络模型，预测纱线位置。具体方式为，对于标记的纱线轮廓中的每一个像素x，其可以看作服从纱线中心μ为均值、σ为方差的高斯分布，其定义如下：

(1)

(2)

式中：f(x)为像素x转化后的响应值；dy为纱线直径所占的像素数；μ为纱线中心；σ为方差；φ为一个非负权重参数。

为避免采用固定σ方差时，纱线的直径变化影响热力图中纱线特征表达，这里设定了一个尺度参数φ, 使得φ的大小与纱线的直径成正比。图3示出一幅织物图像及其所生成的经纱特征热力图。通过这种方式，用来训练特征热力图包含的完整纱线轮廓信息，而且纱线中心具有最大响应。

图3 标记纱线轮廓的织物图与生成的经纱热力图Fig.3 Original image with labeled yarn location(a) and generated warp location map(b)

2 自动密度检测方法

对于自动密度检测，关键需要得到相邻2根纱线的距离，然而由于纱线颜色、直径、织物组织多样，现有的织物密度自动检测算法缺乏一定的品种适应性，无法同时很好地处理不同类型的织物。在此前的研究中所采用的基于多尺度卷积神经网络的检测方法，达到了较高的检测精度，且能够适应不同类型的织物。为进一步提高性能，本文对模型进一步改进，将神经网络中的下采样层与对应的上采样层相拼接级联，深度提取特征信息，使深层与浅层信息相融合，更加精确地预测经纬纱位置，最后通过灰度投影得到具体纱线位置，计算经纬密度。

2.1 多尺度卷积神经网络

该网络结构示意图如图4所示。受Inception模型[12]以及U-net模型[13]的启发，采用了一种多尺度结构卷积层来降采样，提取并适应不同大小的纱线结构特征，然后使用反卷积结构进行像素级重构。该网络包含2部分结构：多尺度特征编码器和纱线位置解码器。

图4 网络结构示意图Fig.4 Structure of neural network

2.1.1 网络结构

多尺度特征编码器。多尺度特征编码器包含4个级联的不同维度大小的多尺度结构模块来进行逐步降采样。由于纱线的直径以及织物的密度是十分多样的，因此更适合于使用不同大小的卷积核以赋予网络不同大小的感受野，故多尺度结构模块分别使用1×1, 3×3, 5×5, 7×7大小的卷积核，同时在每个卷积核前增加一个1×1大小的卷积核来减少特征维度。每个多尺度结构模块卷积层数分别为16, 32, 64, 32，其内部卷积层数相同以简化运算。各个多尺度模块之间应用一个2×2最大池化层以消除噪声并保留关键特征。

纱线位置解码器。为生成高分辨率的纱线位置图，应用4个卷积核大小分别为7×7, 5×5, 3×3, 1×1的卷积层来逐步获取细节，每个卷积层通道数依次为64, 32, 16。同时各个卷积层之间增加一个2×2 反卷积层重构空间分辨率并生成和原图同样大小的纱线位置热力图。由于图像的像素值总是非负的，因此使用ReLU作为激活函数。

2.1.2 损失函数

对于织物密度测量而言，需要得到精确的纱线位置，因此损失函数在遵循常用的均方误差(MSE)的基础上增加了一种结构相似性函数(SSIM)[14]来作为罚函数。

用均方误差计算预测值和真实值之间的像素级误差，其可保持网络整体的优化方向，保证训练的稳定，定义如下：

(3)

式中：M为图像中像素总数；Ui为第i个像素的预测值；Vi为第i个像素的真实值。

结构相似性函数。由于均方误差基于像素独立原则，其忽略了局部域中像素间的联系，因此本文又引入了结构相似性函数，其考虑了2幅图像之间的结构相似性，即局部像素之间的相关性而忽略一些噪声干扰，更符合人类视觉系统，因此在均方误差的基础上，增加结构相似性函数来避免过拟合，同时可提高预测位置的准确性。

最终网络的损失函数L结合了MSE和SSIM，同时引入一个尺度参数λ来平衡MSE和SSIM，其定义如下：

L=MSE+λ(1-SSIM)

(4)

2.2 基于预测纱线位置图的密度测量

训练好的网络接受一幅任意大小的织物图像，分别输出经纱与纬纱位置热力图，通过处理输出的位置热力图，进行准确的织物密度测量。

2.2.1 倾斜角检测

由于织物的摆放以及部分织物中经纬纱并非垂直，因而需要检测倾斜角。本文采用霍夫变换检测织物倾斜角，为了减少运算时间，首先使用大津阈值法[15]将预测位置图转化为二值图，然后利用Zhang-Suen细化算法[16]细化纱线，接下来将图像中的所有像素从图像空间(x,y) 转化到极坐标空间(s,θ)，其转化公式如下：

s=xcosθ+ysinθ

(5)

其中最大频率下的θ即为纱线的倾斜角，经过以上步骤，可分别得到经纱倾斜角θj和纬纱倾斜角θw，然后将预测位置图分别倾斜-θj与-θw，即可得到纠正的纱线位置图。

2.2.2 密度检测

得到纠正的纱线位置图后，使用灰度投影法得到相邻2根纱线的距离。其中经纱位置热力图按照列方向进行投影，而纬纱位置热力图按照行方向进行投影。通过计算图像中相邻纱线距离的平均值p，单幅图像的织物密度即可以按照下式得到：

(6)

式中：b为经密或纬密，单位为根/(10 cm)；PPI为图像的实际空间分辨率，单位为像素/cm；p为相邻2根经纱或纬纱之间像素数。

2.2.3 密度均匀性评价

本文系统所采集的单幅图像所对应的实际织物大下为1.43 cm×1.07 cm, 其对应的实际视野有限，因此算法通过对一定幅宽下所采集的连续织物图像密度做出检测，最终使用均值作为该织物的密度。并分析所计算的密度集中趋势，使用均方百分误差(MSPE)对织物密度均匀性进行评价。

3 实验细节

本文进行了一系列实验来验证算法的性能，所有实验都运行在一台配备有Intel(R) Core (TM) i9-7900x CPU, GTX 1080Ti GPU, 32 GB 内存的服务器中运行，实验算法由Keras 2.2.4框架实现并用TensorFlow 1.13.0作为后端。

3.1 训练细节

在模型训练阶段，数据集按照6∶1∶1的比例随机分为训练集，验证集以及测试集，同时对数据集中的所有图像进行水平翻转，垂直翻转以及颜色通道变换进行数据增广。模型以一个较小学习率1×10-5进行训练，最后经过200次迭代后得到最终的模型。

3.2 验证细节

为验证方法的效果，本文遵循现有的研究，使用绝对百分误差(MAPE)来表示模型的精确性，其定义如下：

(7)

式中：N为测试集中图像数目；Gj为第j幅图的人工检测密度测量值，单位为根/(10 cm)；Yj为第j幅图采用自动方法检测密度值，单位为根/(10 cm)。

然而绝对百分误差只表达了模型的准确性，为了进一步验证方法的鲁棒性，本文又引入了均方百分误差(MSPE)，其定义如下：

(8)

由于其易受异常值的影响，异常值越多，值越大，因此可以说明算法的稳定性。结合这两个评价指标可以全面表达算法的效果。

4 结果与讨论

4.1 实验结果

图5与表1分别展示了测试集中一些代表性织物的纱线位置预测图以及其预测误差。

注：每个图中从左到右依次为图像系统所采集的织物原图、模型所预测的经纱位置图、模型所预测的纬纱位置图。图5 部分织物与预测纱线位置图Fig.5 Some representative fabric images and predicted location maps in test set.(a) Plain yarn-dyed fabric; (b) Left twill fabric; (c) Right twill yarn-dyed fabric; (d) Plain fabric; (e) Satin yarn-dyed fabric; (f) Jacquard yarn-dyed fabric

表1 图5中织物自动检测与人工检测方法对比Tab.1 Comparison between manual measurements and proposed method in Fig. 5

在整个共包含100幅不同织物类型测试集下算法的经纬密度MAPE分别为1.42%和1.71%，MSPE为2.04%和2.68%。在处理宽幅织物方面，本文采集了10种不同类型的宽幅机织物的连续图像，其织物图像均不包含在训练集中，经纬密度MAPE分别为1.45%和1.59%，MSPE为2.76%和2.90%，以上结果表明此方法具有较高的准确性以及鲁棒性，提出的多尺度卷积神经网络可准确定位纱线的位置，在各种不同类型的织物下都表现出较好的效果，可处理普通白坯织物、色织物、高密度织物、提花织物以及宽幅织物等各种不同类型的织物。

4.2 参数讨论

4.2.1 特征热力图参数

根据纱线位置所生成的特征热力图会影响到最终模型的训练效果，本文通过引入适应性σ来抵消纱线直径变化的影响，为了生成合适的特征热力图进行训练，分别选择不同大小固定σ和适应性σ，即不同大小的φ进行实验，结果如表2所示。可看出采用适应性σ，配以合适的φ可以得到更好的效果，主要是由于当使用固定σ时，模型会对不同直径的纱线展现出差异，因而影响模型的稳定性。基于实验结果，设定φ为0.1。

表2 不同参数下算法的效果对比Tab.2 Testing errors of different parameters

4.2.2 损失函数参数

为了验证均方误差与结构相似性函数结合的方式作为损失函数的有效性，以及得到合适的尺度参数λ，表2示出采用不同λ时模型的误差。结果表明，混合损失函数优于只使用均方误差，且当λ=0.001时，模型达到较优效果。

4.2.3 不同算法比较

为验证所提出算法的先进性，对现有的一些自动化方法进行了比较，分别采用灰度投影方法[8]、此前研究中的多尺度卷积网络(MSnet)、以及改进后的多尺度卷积神经网络，结果见表3。可看出，在所建立的测试集下，本文提出的算法具有较低的MAPE与MSPE，说明此算法具有较高的精度及鲁棒性。

表3 不同算法的织物密度检测效果对比Tab.3 Testing errors of different methods

5 结 论

本文采用了一种基于卷积神经网络的织物经纬密度自动测量方法，所采用的多尺度结构可以极大提高鲁棒性，同时对算法所采用的各个参数以及特征热力图的生成进行了详细的讨论，在大量的织物图像数据集下进行了实验。结果表明，与其他方法相比，该方法对于不同类型织物的经纬密度计算误差小于2%，所提出方法具有较高的准确性及品种适应性。结合所开发的滑动式织物图像采集装置，可以检测任意幅宽织物的经纬密度，并对织物的密度均匀性做出评价，具有较高的实际应用价值。未来的研究将进一步扩展到织物疵点检测等质量控制领域。