陈从平，李少玉，钮嘉炜，颜逸洲，张 屹

(常州大学 机械与轨道交通学院，江苏 常州 213164)

0 引言

随着电器更新换代速度逐步加快，产生大量废旧电器，若不正当处理容易对环境造成污染，另外废旧电器中仍有大量材料资源可以回收利用，因此需要对废旧电器进行拆解回收，由于不同的废旧电器需要不同的拆解方式，以及不同废旧电器拆解后得到材料是不同的，所以废旧电器拆解前需要对其进行识别分类[1]。传统拆解过程中对废旧电器主要是通过人工或者机械的方法进行识别分类，但由于废旧电器种类多样，大小、颜色、形状等因素不固定，导致分类耗时、自动化程度低、识别效率低下，因此，实现废旧电器智能识别具有实际意义。导致废旧电器的分类耗时、自动化程度低、分类效率低下，因此，实现废旧电器自动分类具有实际意义。

传统的目标检测算法有帧差法[2]、DPM法[3]和Viola-Jones法[4]，这些方法对目标物体的检测精度低、速度慢以及计算量大，本文基于机器视觉对目标进行检测具有精度高、适应性强和速度快等特点[5]，对废旧电器整机的智能识别具有良好的效果。

本文提出的方法思路如下，首先通过工业相机在废旧电器拆解车间采集废旧电器图像，通过PSPNet语义分割网络[6]，把废旧电器目标区域和背景分离，掩膜操作[7]可进一步得到废旧电器目标图像。其次对废旧电器目标进行特征提取，包括废旧电器的形状特征和卷积神经网络提取深层特征，引入主成分分析PCA算法[8]对特取到的形状特征进行优化，把优化后的形状特征与深层特征向量进行拼接，利用拼接后的特征向量对SVM二分类器[9]进行训练，得到废旧电器分类模型，最后将测试集中废旧电器图像通过上述特征提取，得到测试集特征向量输入到分类模型中，完成废旧电器的智能识别。

1 废旧电器整机分割与特征提取

1.1 废旧电器图像采集

本文采集的图像全部在废旧电器拆解车间拍摄获得，包括废旧冰箱、废旧洗衣机和废旧空调外机，共采集900张原始图像作为训练集，每类300张，并统一训练集图像像素大小为473×473，同时为了提高分类器的泛化能力和鲁棒性，对训练集使用了图像翻转、平移、亮度调整等操作手段，完成训练集图像扩充。

1.2 废旧电器分割模块

为了减少背景对废旧电器特征提取的干扰，将废旧电器与背景进行分割，使用PSPNet语义分割网络将采集到的废旧电器原始图像进行分割，得到废旧电器与背景分割完成后的图像，可作为下一步掩膜操作的掩膜图像。其中，PSPNet语义分割网络结构如图1所示。

图1 PSPNet网络结构图

输入的废旧电器图像经过主干特征提取网络MobileNetV2[10]，得到Feature Map特征层，然后对Feature Map进行4次步长分别为5、10、15和30的平均池化，将特征层划分为6×6、3×3、2×2和1×1个子区域，融合这些子区域，将融合后的区域与原始特征层进行合并，最后通过卷积层生成最终的掩膜图像。

语义分割后的掩膜图像，其目标区域像素值为255，其余像素值为0，因此将掩膜图像和原图像进行“与”操作，获得与背景分割后的废旧电器图像，如图2所示。

图2 废旧电器与背景分割过程

2 特征提取

废旧电器识别分类效果的好坏，其中特征的选择和提取是至关重要的一步。由于每一类废旧电器有着不同的外形轮廓，所以形状特征可以作为区分废旧电器的依据。由于废电器种类的多样化，使用形状特征不足以充分代表废旧电器的特征，因此，进一步使用卷积神经网络提取废旧电器深层特征。

表1 部分不变矩数据

2.1 形状特征提取

由于废旧空调外机、洗衣机和冰箱三类电器经过旋转、平移和缩放等图像扩充手段，导致废旧电器的位置、形状差异显著，而Hu矩[11]具有平移、旋转和比例不变等特性，且识别的准确率稳定可靠，因此可选择经典Hu不变矩算法提取分割后的废旧电器图像的形状特征，避免了废旧电器因形状变化引起的偏差。利用二阶、三阶和归一化中心矩可以构造出7个不变矩M1至M7，将这7个矩构成一组特征向量,可用于代表分割后废旧电器的形状特征。

(1)

(2)

式中，ηpq为p+q阶归一化中心矩，保证了Hu不变矩的旋转、平移和缩放不变性，μpq表示p+q阶中心矩，ρ=(p+q)/2+1。

p,q=0,1,2...

(3)

(4)

式中，m00为废旧电器图像的零阶矩，m01和m10为废旧电器图像的一阶矩。

(5)

根据上述原理公式，我们可以得到废旧冰箱、洗衣机、空调外机的7个Hu不变矩形状特征量。

对于分割后的废旧电器图像，采用不变矩算法提取形状特征，并得到所有样本的不变矩数据，每个样本有7个特征变量M1,M2,…,M7。每类废旧电器抽取2个样本，其不变矩特征如表1所示。

表中1、2分别代表同一种废旧电器的不同类别。

由表1可知，不变矩的值比较相近，由废旧电器之间形状比较相似所导致。因此，单采用Hu不变矩算法提取形状特征来识别废旧电器是非常困难的，需要结合其他特征来进一步对废旧电器进行识别。

分割后的废旧电器图像，经计算发现，3类废旧电器轮廓的最小边界矩形的长边与短边之比有明显的差异，因此，用废旧电器的最小边界矩形的长宽比作为废旧电器的一个形状特征。

(6)

式中，L、H分别代表废旧电器的最小边界矩形的长和宽。

废旧电器的形状特征包括7个Hu矩特征和1个最小边界的长宽比特征，组成一个维数为8的形状特征向量。

2.2 PCA降维

PCA是一种常用的线性主成分分析方法，该方法根据样本特征量的分布情况，将高维特征向量投影到低维空间中样本点方差最大的方向，能保存数据主要信息的前提下，进而将高维特征参数降到低维空间。

由于获得的形状特征向量特征值较大，且特征量的维数过高，直接使用形状特征信息来识别废旧电器会导致数据冗余、维数灾难，因此需要进行降维。引入PCA算法对形状特征向量进行优化，获得废旧电器图像的综合形状特征描述，避免了不变矩数据冗余导致的低识别率。PCA算法对得到的形状特征向量进行线性组合，提取出能够代表废旧冰箱、洗衣机、空调外机不同形状特征的主成分。PCA原理如下。

假设样本容量为t，每个样本维数为w，所以有t×w矩阵A。

(7)

若A的相关系数矩阵R，并构造特征方程|λI-R|=0，I为单位矩阵，计算特征值λi，并按其值大小进行排序，则有：λ1≥λ2≥…≥λw≥0。通过特征值计算出主成分贡献率α和累计贡献率δ。

(8)

(9)

统计δ≥85%的前k个累计贡献率，计算其对应的特征向量，并求出维数为8的形状特征向量a1,a2,..,a8对主分量z1,z2,..,zk的载荷lij，即：

(10)

提取前k个主分量，从而达到降维的目的。

(11)

将形状特征的维数由8降为4，这4个主成分代表了废旧冰箱、洗衣机、空调外机的形状特征。

2.3 深层特征提取

CNN是一类包括卷积计算和具有深度结构的前馈神经网络。常见的卷积神经网络有ResNet[12]、AlexNet[13]和VGGNet[14]等网络，而AlexNet网络模型相比于其他卷积神经网络网络层数较少，特征提取的速度更快，并使用ReLu作为激活函数，解决了网络较深时的梯度弥散问题，其次，在AlexNet模型中采用重叠最大池化，使得池化层之间有重叠区域，进一步提高了特征的精度，一定程度上也避免了过拟合的问题。由于AlexNet网络的FC8全连接层最后输出了1 000个神经元，与提取到的形状特征相比，特征维度差距较大，不利于特征的拼接，增加了分类模型训练的复杂度，因此，本文使用改进的AlexNet网络模型进行废旧电器的深层特征提取，对AlexNet网络第六、七和八全连接层进行改进，FC6层共1 024个神经元，输出1 024×1的向量，FC7层共128个神经元，输出128×1的向量，最后FC8层输出30×1的深层特征向量。改进后的AlexNet网络一方面提取了废旧电器的深层特征，另一方面使得输出深层特征的维数比较理想，也减轻了分类器训练的难度，结构如图3所示。

图3 改进AlexNet网络结构图

2.4 特征拼接

由于单一尺度的形状或深层特征并不能充分代表废旧电器的整体特征信息，因此将PCA优化后的形状特征与卷积神经网络提取的深层特征进行横向拼接操作，将拼接后的特征向量进行归一化操作，从而消除了奇异样本导致的不良影响，归一化后的特征向量可作为后面模型训练和测试的输入。假如两个输入特征向量D、B的维数为v和s,则横向拼接后的特征向量C维数为向量D、B的维数之和。

3 实验与结果分析

常见的机器学习分类算法有K近邻算法[15]、朴素贝叶斯[16]、SVM、决策树[17]等分类算法，其中SVM算法擅长解决高维度、小样本问题，并且具有较强的泛化能力，SVM极好地避免了神经网络结构选择和局部的极小值问题，最终将其算法转化为一个二次型求解最优问题，它不仅可以解决线性问题，而且还可以解决非线性问题。针对拼接后的废旧电器特征向量维数较高，而在二分类中SVM对高维数样本具有良好的分类效果，因此本文提出以SVM二分类模型为基础对废旧电器进行多分类。

3.1 废旧电器分类方法

利用SVM二分类器对废旧电器进行分类，首先搭建以废旧空调外机为正样本，其余废旧电器为负样本的SVM二分类器，记为分类器1，此二分类器能够区分废旧空调外机和其他种类废旧电器。其次搭建以废旧冰箱为正样本，其余废旧电器为负样本的SVM二分类器，记为分类器2，此二分类器能够区分废旧冰箱和其他种类废旧电器。最后搭建废旧洗衣机为正样本，其余类型废旧电器为负样本的SVM二分类器，记为分类器3，此二分类器能够区分废旧洗衣机与其他种类废旧电器，经过上述过程，可实现用SVM二分类器对废旧电器种类进行三分类，进而实现废旧电器的智能识别。

3.2 SVM分类原理

SVM是在结构风险最小化理论的基础之上通过构建最优分割超平面对样本特征向量进行分类，其目的是找到最优分割超平面，使超平面上的支持向量对应的样本点到最优分割超平面距离最短。其原理过程如下：

在线性可分的情况下，就存在一个超平面使得训练样本完全分开，该n维空间的超平面方程可由二维直线方程推导出，公式如下：

ωTx+γ=0

(12)

式中，ω=[ω1,ω2,...,ωn]T，x=[x1,x2,...,xn]T，γ为其中的标量。

由二维平面上点到直线方程的距离扩展到多维，可求得超平面上的样本点到最优超平面的距离方程，公式如下：

(13)

(14)

目前常用的SVM核函数有线性(linear)核函数[18]、Sigmoid核函数[19]、多项式(polynomial)核函数[20]和径向基型(radial basis function)核函数[21]。其中径向基核函数的非线性能力优于其它几类核函数，同时也可以应用到低维、高维、小样本、大样本等情况，在SVM中是应用最广泛的核函数，本文实验SVM分类器核函数选择径向基核函数，表达式为：

(15)

式中，γ为正实数，ki，kj分别表示不同类别的样本。使用核函数后，分类器在训练时需求解的最小值问题为：

(16)

(17)

式中，θi为拉格朗日乘子，0≤θi≤E，(x，z)为训练样本，Y为类别标签，s为训练样本数，E为惩罚因子。预测时的分类判别函数为：

(18)

式中，b+为非负实数，sgn()为符号函数。

SVM算法不仅可以解决线性问题，也可以解决非线性问题。对于非线性图像样本特征向量，SVM将选择一个核函数，把训练集特征向量映射到高维空间，在高维空间中构造最优分割超平面，特征向量在转换后的高维空间中线性可分。

3.3 分类模型训练

对采集到的原始图像进行图像扩充操作后，通过语义分割网络把废旧电器与背景进行分割，并对分割后的图像进行特征提取和特征拼接，最后标注样本标签，作为废旧电器分类模型的训练数据，其流程如图4所示。

图4 分类流程图

3.4 废旧电器的智能识别

将语义分割算法、特征提取算法以及SVM分类算法封装成废旧电器识别软件，把此软件做成离线形式，外接工业相机，工业相机通过采集拆解流水线上的废旧电器，相机采集到的废旧电器图像传输到封装好的废旧电器识别软件，经过软件内部算法，可自动识别出废旧电器的类别，从而方便了后续各类废旧电器的自动拆解。面向自动拆解的废旧电器智能识别，其中废旧电器识别模块，全程无需人工干预，即可实现废旧电器的智能识别与分类。

3.5 实验结果分析

采集废旧冰箱、洗衣机以及空调外机各110幅图像作为测试集，对废旧电器分类模型进行测试，计算出每一类废旧电器的查准率(P)，召回率(R)和F1Score值。

(19)

(20)

(21)

式中，TP为该类型废旧电器预测为该类型废旧电器；FP为其他类型废旧电器预测为该类型废旧电器；FN为该类型废旧电器预测为其他类型废旧电器。

用测试集分别对形状、深层特征得到的分类模型进行试验，可获得分类结果的平均准确率,即分类正确个数占总测试集的百分比，由表2可知采用单一的形状特征或深层特征对废旧电器的识别效果较差。

表2 单一特征对废旧电器识别的平均准确率

表3 模型评价表

将PCA优化后的形状特征和深层特征进行拼接，用测试集对特征拼接后得到的分类模型进行试验。从表3可以看出，通过计算P，R和F1Score的值，可以看出此模型对废旧电器整机识别准确率较高，并有着良好的适应性，通过计算平均准确率，高达91.21%，其中某些识别错误的原因可能是由于废旧电器外形及表面相似度较高所导致。

由表2和表3通过对比可以看出，单一尺度的形状或深层特征向量远低于拼接后的特征向量对废旧电器整机识别的精度。

对于特征拼接后得到的分类模型，通过改变测试集正负样本的比例，来检测SVM分类模型的性能，绘制ROC曲线如图5所示。

图5 三类分类器的ROC曲线图

其中，纵坐标为真正率(TPR)，即正样本预测结果数占正样本实际数的比例，横坐标为假正率(FPR)，即被预测为正的负样本结果数占负样本实际数的比例。图5中曲线ROC_3代表对分类器1测试所得到的ROC曲线，曲线ROC_1代表对分类器2测试所得到的ROC曲线，曲线ROC_2代表对分类器3测试所得到的ROC曲线。通过计算AUC值(ROC曲线下的面积)均不低于0.82，因此，此模型对废旧电器整机具有良好的识别效果。

4 结束语

本文提出一种面向自动拆解的废旧电器整机智能识别方法，首先收集大量的废旧电器图像作为实验图像，其次使用目标分割算法把废旧电器与背景进行分割，得到分割后的废旧电器目标图像。其次对目标图像进行形状、深层特征提取，采用PCA算法对形状特征进行降维，再把上述降维后的形状特征与深层特征进行拼接，将拼接后的特征向量对搭建好的SVM分类器进行训练，得到废旧电器的分类模型。由实验可知，拼接后的特征向量得到的模型对自动拆解的废旧电器整机智能识别有较高的精度。由于本文实验训练样本集数量不够大，对模型识别的结果会有影响，故在后期研究中可通过扩大废旧电器数据量和种类来进一步提高废旧电器智能识别的准确率和适应范围。