王晓玉，王金瑞，韩宝坤，张冬鸣，闫振豪，石兆婷

（山东科技大学机械电子工程学院，山东青岛266590）

引言

在现代工业中，传统机械工业正迅速向自动化、智能化转变［1-2］。为了保证机器的正常运行，各种智能故障诊断方法层出不穷。雷亚国等［3］设计了多层堆叠DAE，并对频域信号加噪，从而实现了了齿轮箱的智能故障诊断。樊薇等［4］设计了一种基于小波基稀疏信号特征提取的轴承故障诊断系统，实现强背景噪声下轴承弱特征振动信号的有效提取。Wang等［5］为了提高模型训练效率，同时解决深层神经网络在训练过程中出现的梯度消失问题，引入批标准化算法，实现了轴承振动信号的快速故障诊断。

机械故障诊断的发展离不开大数据的支持。因此，利用生成对抗网络（GAN）等［6］深度学习算法来提高训练样本的数量成为研究热点。Shao等［7］将不同标号类型的故障时域数据输入到GAN中，生成一维仿真信号样本，然后将其与原始信号输入到卷积神经网络中，实现训练样本的数据增强和故障识别；Wang等［8］利用GAN学习故障信号的仿真频谱，实现数据增强，并选择堆叠式自编码器（SAE）［9］进行准确的故障分类；Mao等［10］还利用GAN对小样本故障类型数据进行增强，实现异步电机的故障诊断，并通过对比研究验证了该方法的有效性。

因此，数据采集的过程变得尤为重要［11］。采样频率越高，单位时间采集的数据点越多，越有利于研究和分析被测对象的内部特征，从而实现对机器故障的准确诊断［12-15］。因此，高分辨率样本常被用于故障诊断研究［16-17］。但是，上述方法不能提高单个样本的分辨率。在实际应用中，传感器应用通常需要测量大的动态范围，但需要精细的分辨率来感知获取信号的微小变化［18］。此外，关于分辨率增强的研究较少。与此形成鲜明对比的是，分辨率增强技术被广泛应用于图像处理领域［19］。分辨率增强技术可以解决原始图像和视频分辨率低的问题。超分辨率卷积神经网络（SRCNN）［20］、深度重构分类网络（DRCN）［21］和超分辨率生成对抗网络（SRGAN）［22］等是常用的超分辨率深度网络。以SRCNN为例，首先利用双三次插值将低分辨率的输入图像放大到目标形状，然后利用三层卷积网络进行非线性映射，进而输出重建后的高分辨率图像。

由于卷积运算的分辨率较高，计算复杂度增加。高效的亚像素卷积神经网络（ESPCN）［23］可以直接从低分辨率图像形状中提取特征，有效生成高分辨率图像。

因此，为了使样本的分辨率得到增强，生成更多仿真的样本特征，本文提出了一个有效的算法——高效亚像素全连接神经网络（ESPFCN）算法。为了检验分辨率增强后的样本结果，使用SAE分类网络对样本进行了故障分类的准确性测试。实验结果验证了ESPFCN在增强数据分辨率方面的有效性。

本文的主要见解和贡献总结如下：1）尝试使用深度学习的方法来解决样本分辨率低的问题。本文提出的ESPFCN方法可以将样本的分辨率增强为原来的4倍；2）通过轴承实验验证了该方法的有效性，并对实验结果进行了可视化展示；3）为了更好地理解ESPFCN分辨率增强的过程，展示并分析了其各隐含层特征学习过程。

1 理论背景

1.1 ESPCN

ESPCN的网络结构如图1所示。ESPCN主要由卷积神经网络和亚像素卷积层组成。利用L通道卷积神经网络生成低分辨率图像，然后利用亚像素卷积层对低分辨率图像进行采样，生成高分辨率图像。卷积神经网络的第一个L-1通道描述如下：

图1 ESPCN结构Fig.1 Structure of ESPCN

式 中Wl，bl，l∈(1，L-1)为 可 学 习 权 值 和 偏 移量，Wl为一个大小为nl-1×nl×kl×kl的二维卷积张量，其中nl为L层的特征数，kl为L层的卷积核数，偏移bl为长度为nl的向量，激活函数φ被逐个应用并固定。经过卷积神经网络层，得到与输入图像形状相同的特征图像，并将特征图像发送到亚像素卷积层进行采样。

其次是映照修辞格的使用。歌词中秀才的离开与胡同中梦的落空形成映照。映照修辞格的使用让书生的离开与胡同的败落形成了奇妙的统一，给听众以双重的冲击。他不是功成名就而离开，他心中功名、往事、胡同都恍然如梦，随着记忆被埋葬，只留妻子凄苦中挣扎。

亚像素卷积层由卷积层和亚像素卷积层两部分组成。卷积层部分输出与输入图像形状相同的r2个低分辨率卷积特征图，其中r为升尺度比率，然后根据公式计算超分辨率重建的特征图ISR

式中PS为一个将元素按形状重新排列的操作符。重排PS的数学描述如下

其实质是将低分辨率的特征周期性地插入到高分辨率图像中。

1.2 SAE

自编码器（AE）［24］是SAE的基本组成单元，主要用于数据的特征提取和降维。如图2所示，AE的结构是一个三层前馈神经网络［25-26］，包括数据输入层、隐含层和输出层。AE分为两部分，即编码器部分和解码器部分。利用编码器将输入信号映射到隐层表达式中，实现数据高维特征提取的过程。利用解码器从隐层中恢复原始输入数据，完成数据重建过程。

图2 AE的架构Fig.2 Framework of AE

假设有一个未标记的训练数据集xn∈Rm×1，其中xn∈Rm×1只有一个样本xn，编码器的过程为

式中hn表示由xn计算出的隐藏编码器向量，sf为编码器激活函数，b为偏置向量，W为权值矩阵。

gθ′为解码函数，它将hn从低维特征映射回高维特征，产生重构。

式中sg为解码器激活函数，d为偏置向量，WT为权值矩阵。

式中AEs的参数集为θ={W，b}和θ′={WT，d}，其中b和d为偏置向量，W和WT为权值矩阵。

选择一个包括数据输入层、隐含层和输出层的三层前馈神经网络的SAE作为分类模型，如图3所示。输入层神经元数目与输入样本相同。隐层神经元的数目与输入样本的维数有关。输入维数为300时，隐含层神经元数为200-150-100。当输入维度为1200时，隐含层神经元数为600-200-100。输出层神经元数目与健康轴承数目相同。网络的激活函数为Sigmoid，迭代训练次数为20次，学习率为1×10-3，批量大小为5。最后一层使用Softmax分类器［27］，采用BP算法［28］对SAE网络进行微调。需要注意的是，为了提高网络训练速度，避免梯度消失的问题，在SAE的每一个激活层之前都使用了批标准化（BN）算法［29］。

图3 SAE结构Fig.3 Structure of the SAE

2 ESPCN模型的数据分辨率增强方法

如图4所示为ESPFCN的结构，其主要由全连接层神经网络和亚像素全连接层组成。全连接神经网络层可以描述为：

图4 ESPFCN结构Fig.4 Structure of the ESPFCN

式中XLR为低分辨率样本，Wi，i∈(1，2，3)为第i层网络的权重，激活函数φ为ReLU。

其中：第一、二和第三层全连接层分别为64，32和4通道。为了实现分辨率增强操作，将低分辨率数据XLR通过全连接神经层输出到亚像素全连接层。

亚像素全连接层由全连接层和元素排列构成。全连接层输出r2（r=2）通道与输入数据维数相同的数据，根据公式得到

式中XSR为ESPFCN网络生成的高分辨率样本，PS算子能够将张量的形状由H×W×C⋅r2重新排列成rH×rW×C。PS算子的数学描述如下

其实质是对四通道的低分辨率特征进行周期性的排列，最终得到一组高分辨率特征。

使用均方误差（MSE）度量真实低分辨率样本与生成的低分辨率特征的差异程度，其计算公式如下

3 实验验证

3.1 数据描述

为了验证ESPFCN对样本分辨率增强的效果，设计了一个模拟轴承失效的实验平台，如图5所示。该平台主要由电动机、联轴器、轴承座、齿轮箱和制动器组成。轴承底座的振动信号由带振动传感器的LMS数据采集仪采集，传感器置于轴承座侧。采样频率为25.6 kHz。发动机转速为3000 r/min，图6所示的三种轴承类型均为N205EU圆柱滚子轴承。如表1所示，轴承有4种状态：正常状态（NC）、内圈故障（IF）、外圈故障（OF）和滚珠故障（RF）。每种故障类型有三种不同程度的损害：0.18，0.36和0.54 mm。轴承状态分为10种，每种状态包含200个样本。

图5 滚珠轴承数据测试平台Fig.5 Ball bearing data testing platform

图6 轴承结构展示Fig.6 Structure display of rolling bearing

为了合理设置每个样本中包含的数据点数量，使用公式

可以看出，在采样频率为25.6 Hz，电机转速为3000 r/min的情况下，电机每转一圈采样设备将采集512个数据点。因此，将每600个数据点设为一个低分辨率的样本，每个样本经过傅里叶变换后得到300个傅里叶系数。设置2400个数据点为一个高分辨率样本，每个样本经过傅里叶变换后得到1200个傅里叶系数。所有实验样本数据在相同负载下采集。

ESPFCN的参数设置如下：迭代次数为40次，学 习率为10-3，激活函数 为ReLU［30］。使用SAE测试ESPFCN生成数据的有效性。使用低分辨率样本作为ESPFCN的输入样本，并将生成的数据集作为SAE的训练样本，将原始的高分辨率数据集作为测试样本。另外两种方法从不同故障类型的样本中随机抽取50%作为训练集，剩余50%作为测试集。

3.2 诊断结果

图7显示了三种数据类型的频域图（低分辨率频谱图、ESPFCN生成的频谱图和高分辨率的频谱图）。由图可以看出，从频谱图中很难直观地区分不同的故障类型，因此有必要使用基于深度学习的分类网络来提取样本特征，以更好地区分故障类型。当采样设备的采样频率越高，采集的数据点越多，数据包含的特征越多，判别网络的训练效果越好。由于低分辨率样本只含有一圈的轴承数据，所以特征较少。ESPFCN生成样本的特征趋势与原始高分辨率样本的特征趋势基本一致，但是由于低分辨率样本仅含有高分辨率样本1/4的特征，因此由低分辨率增强后的样本与原始的高分辨率样本存在一定的差异。

图7 三种电机轴承数据类型频谱的比较Fig.7 Comparison of three motor bearing data type spectra

为了验证该方法的有效性，将ESPFCN生成的数据集和两个比较数据（低维数据集和高维数据集）分别作为SAE的输入数据集。实验结果如图8所示，实验重复15次以减少随机性的影响，并于表2展示了这15次实验的数值结果。可以看出，低分辨率数据集的结果并不理想，平均准确率为95.78%，这是因为低分辨率样本包含的特征相对较少，从而导致判别网络欠拟合；ESPFCN的平均准确率为98.25%，这是因为ESPFCN使低分辨率的数据增强为原来的四倍，增强后的样本包含更多的特征信息，从而能够更好地训练判别网络；高分辨率数据的平均准确率最高，达到了99.94%。不同运行状况下的其他样本被很好地分离。此外，利用皮尔逊相关系数（PCC）评估生成样本与原始高分辨率样本之间的相似性，PCC的值越大，表示两者之间的相关性越强，PCC的计算公式如下式中X表示ESPFCN生成的样本，Y表示原始高分辨率样本，cov（•，•）是协方差，σX和σY分别是X和Y的标准 差，μX和μY分别 是X和Y的 均值，E是期望。ESPFCN与原始高分辨率样本的PCC为0.81，说明这两类样本之间的相似性较强。

图8 测试准确率对比曲线图Fig.8 Comparison graph of test accuracy

表2 测试准确率对比表Tab.2 Comparison table of test accuracy

为了直观地展示这三种数据集的分类效果，采用t-SNE（t-distributed random neighbor）［31］方 法 将SAE隐含层特征映射到三维特征中。从图9（a）可以看出，低分辨率数据的聚类效果并不理想，部分样本相互混合，不同样本之间存在不同程度的误分类；在图9（b）所示，ESPFCN的聚类效果优于低分辨率样本的聚类效果，除了少数OF3和IF1样本发生了误分类的情况，其他不同健康状况的样本被很好地分离，分类结果接近图9（c）高分辨率样本的分类结果。

图9 三组电机轴承数据集的可视化结果Fig.9 The visualization results of three motor bearing datasets

3.3 特征学习过程

此外，为了了解ESPFCN如何提高样本的分辨率，研究了该方法的特征学习过程。图10为一个低分辨率样本经过ESPFCN各全连接层的特征图。可以看出，在同一全连接层中，不同通道的特征是不同的，除了少数通道的特征区分度较大，其余通道的特征较为相似。随着全连接层数的增加，隐层的通道数从64通道减少到4通道，通道数量的缩减导致不同通道之间特征的分化程度更加明显，增大了特征的多样性。由于ESPFCN能够同时增强10种状态的低分辨率样本，因此图11随机展示了样本为正常工况（NC）时的三种数据类型的频谱图。由图11（a）可知，低分辨率样本的样本点只有300，因此其特征明显少于其他两种数据类型的特征。由图11（b）所示，相比于低分辨率样本，ESPFCN生成的高分辨率样本含有更多的数据点，特征也更加的明显，而且其频谱与图11（c）的高分辨率频谱具有一致的特征趋势，即由ESPFCN生成的高分辨率样本在一定程度上还原了真实的高分辨率样本的频谱。

图10 ESPFCN中各层轴承信号特性的可视化图Fig.10 Visual diagram of bearing signal characteristics of each layer in ESPFCN

图11 三种数据类型的频谱的比较Fig.11 Comparison of three data type spectrum

4 结论

为了提高低分辨率样本的分辨率，提出了一种有效的深度学习框架——ESPFCN。低分辨率样本经全连接层输出四通道特征，然后通过亚像素全连接层将四通道的特征合成高分辨率特征，实现样本由低分辨率到高分辨率的转变，样本的特征进而增多，有利于对机械的健康状况进行准确的分析和诊断。在轴承实验的基础上，提出了一种测试策略来评估ESPFCN的可行性。生成的数据集和原始数据集分别作为SAE分类器模型的训练集和测试集。分类结果表明，本文所提出的ESPFCN模型在恒转速下的数据扩充是可行的，可以产生可靠的仿真样本。本文试图为机械故障诊断任务建立一个预测框架，生成数据的分析验证和提出框架的隐层可视化展示，有利于后续的故障诊断。