张玺君,尚继洋

(兰州理工大学计算机与通信学院,730050,兰州)

旋转机械设备的状态监测和故障诊断对现代工业系统可靠性和安全性具有重要意义[1]。滚动轴承是旋转机械中广泛应用的精密机械元件,其健康状态影响着旋转机械设备的安全。据统计约45%～55%的旋转机械设备故障是由滚动轴承故障引起的[2]。对滚动轴承及时进行故障诊断,能减少旋转机械设备运行中故障的发生,保障旋转机械设备安全运行。

轴承故障诊断方法主要包括基于物理模型的方法、基于信号处理的方法、基于机器学习的方法和混合方法。基于物理模型的方法需要对机械机理有透彻了解且物理模型不够灵活,基于信号处理的方法在特征分析和诊断过程中严重依赖专家经验,传统的机器学习方法因需要人工提取和选择特征,已经不能满足当前诊断需求[3-4]。在智能制造快速发展的大背景下,深度学习作为机器学习的分支掀起了智能故障诊断的浪潮,深度学习模型可以自动提取机器数据中的故障特征,建立机器数据和相应机器的健康状态的复杂映射关系,实现端对端的智能故障诊断[4]。其中,卷积神经网络已经成为领先的架构,并在多个基准实验中有着出色的性能[5]。Zhang等[6]提出第一层为宽卷积的卷积神经网络(CNN)来抑制轴承振动信号中噪声的干扰,并加入自适应批归一化的方法来提高模型泛化能力。Li等[7]提出加入注意力机制的多层深度融合网络,可以自动提取多个传感器数据并将其自适应融合完成轴承故障诊断。Zhang等[8]提出一种基于通道空间注意机制和特征融合的选择性核卷积深度残差网络,并将用于机械故障诊断,将特征增强模块嵌入到选择性核卷积和深度残差网络的模型中,提高了故障识别效率。Ruan等[9]从轴承故障周期的角度来确定卷积核大小,采用指数函数拟合不同故障信号的加速度包络线,利用不同衰减比下的信号长度决定卷积核宽度,具有明确的物理意义。Liang等[10]提出了一种基于小波变换和改进残差神经网络的轴承故障诊断方法,用奇异值分解池化层替代传统池化层,并用全局奇异值分解自适应策略替代全连接层,提高模型的抗噪能力。

由于受到载荷变化、噪声干扰等影响,轴承振动信号在多个时间尺度上具有复杂的特征[11-12]。为了提取不同时间尺度的特征,近年来应用多尺度卷积神经网络进行轴承故障诊断得到了广泛研究,多尺度卷积神经网络(multi-scale convolutional network,MSCNN)利用不同大小的卷积提取轴承振动信号中的不同尺度的特征,特征提取能力相比单一尺度卷积提取特征更具鲁棒性。Huang等[13]提出了采用3个大卷积核并行提取轴承故障特征,之后利用多层卷积提取合并后的特征,最后利用全连接层进行分类完成轴承故障诊断。Qiao等[14]引入自适应权重来调整多尺度卷积神经网络突出故障敏感特征。Chen等[15]利用多尺度卷积神经网络提取不同频率特征,之后输入到长短期记忆网络识别故障类型。Jia等[16]提出了一种多尺度残差注意力网络,利用多尺度卷积模块提取特征,再利用残差注意力模块对多尺度特征的通道进行加权去噪,能在振动信号中提取更多有效的特征。Huang等[17]提出了一种加入通道注意力的多尺度卷积神经网络,利用多尺度卷积获得多个时间尺度特征来提高模型的抗噪能力。

虽然上述大多数研究都采用多尺度卷积来提取不同尺度的特征,但不同尺度之间存在特征差异,如果不能调整其特征权重,容易受到冗余信息的干扰[18]。其次,大多数研究提出的神经网络第一层为一个宽卷积层,之后的多尺度卷积层只能从单个输入提取特征,初始特征信息不够丰富。

基于以上问题,本文提出了一种多尺度自适应选择卷积神经网络(multi-scale adaptive selective convolutional neural networks,MSASCNN)。本文的主要贡献如下:

(1)利用不同大小的宽卷积提取信号特征,合并其输出特征来丰富初始特征信息;

(2)利用残差连接构造了多尺度自适应选择卷积块(MSASCblock),模块利用不同大小的卷积提取不同尺度的特征,再通过注意力机制自适应调整不同尺度的特征权重,增强关键特征响应,并引入自适应大小的一维卷积来替换注意力权重层的两个全连接层,避免了参数降维对模型的性能影响和超参数的调整。

1 多尺度卷积神经网络

如GoogleNet[19]、 Inception-v4[20]等的MSCNN在图像处理、目标识别等领域快速发展。MSCNN的目的是通过不同大小的卷积核同时提取输入信号的长期特征和短期特征[21],不同卷积的感受野大小不同,得到特征的尺度也就不同。相比单一卷积提取特征,多尺度卷积获取的特征信息更为丰富。

MSCNN主要由卷积层、池化层、激活函数、批归一化等组成,其中卷积层是提取数据特征的第一步,利用滤波器与局部区域数据进行卷积,获得多组特征映射。卷积层的计算式为

(1)

池化层对输入特征进行特征选择和信息过滤,降低特征参数,有效控制过拟合,常用的池化有最大池化和平均池化[5]。最大池化层的计算式为

(2)

一般利用非线性激活函数对卷积后的特征映射进行处理,增强网络的特征表示[11]。ReLU函数具有单侧抑制、增强稀疏性等[17-22]优点被广泛应用,计算式为

(3)

式中:x是激活前的输入;fx是激活后的输出。

批归一化 (BN)用于规范数据输入和稳定数据分布,进而缓解网络内部协方差偏移或消失,加快模型训练速度[11]。批归一化计算式为

(4)

(5)

(6)

yp=αxp+β

(7)

式中:Nb是小批量数据的数量;xk是第k个输入;μ和σ2是xk的均值和方差;ε是常数;xp是归一化的数据;α和β是用于缩放分布的可学习参数;yp是最后的输出。

2 多尺度自适应选择卷积神经网络

2.1 模型结构

多尺度自适应选择卷积神经网络由特征筛选层、特征提取层、特征分类层构成,模型总体结构如图1所示。

图1 MSASCNN模型结构Fig.1 The model structure of MSASNN

大多数多尺度卷积只能从单一的宽卷积中提取特征,特征提取能力有限,考虑到不同大小的卷积具有不同的频率分辨率[13],为丰富提取的初始特征信息,特征筛选层采用不同大小的宽卷积来提取特征,之后合并为初始特征。宽卷积层比小卷积层有更大的感受野,可以捕获低频率特征,作为低通滤波器可以更好地抑制高频噪声[6-14]。宽卷积大小为常用的128、64。设模型输入为X,特征筛选层输出为Y2,二者可表示为

Y1=[K1(X),K2(X)]

(8)

Y2=Pm(Act(δ(Y1)))

(9)

式中:K1和K2是不同大小的宽卷积;[,]为合并操作;Act为激活函数;δ为BN操作;Pm为最大池化。

滚动轴承的局部故障在轴承部件反复撞击故障时,会在加速度信号中产生一系列宽带脉冲响应[23],在时域上的响应是在不同的时间尺度上出现不同的故障敏感特征。为了全面提取故障敏感特征[14],可以利用多尺度卷积来提取不同时间尺度的特征,进而解决在单一时间尺度上提取特征的局限性。

受SKNet[24]启发,Liang等[11]提出一种多尺度动态自适应卷积进行轴承故障诊断,该卷积利用不同大小卷积提取不同尺度的特征,并自适应调整不同尺度的特征权重。本模型在特征提取层引入多尺度自适应卷积(不引入动态缩放率),并改进为多尺度自适应选择卷积,在注意力权重层中将两个全连接层改为ECANet[25]中的自适应大小卷积,避免了参数降维对模型的性能影响和超参数的调整。多尺度自适应选择卷积具体分为3个操作:划分、融合和选择。

(1)划分。对于任何给定的特征图,先通过不同卷积核大小的卷积获得不同的特征图U1、U2和U3,然后将不同特征图融合为一个多尺度特征图

U=U1+U2+U3

(10)

(2)融合。将包含多尺度信息的特征图U输入到全局平均池化(GAP)来获得全局信息,SKNet和多尺度动态自适应卷积利用两个全连接层来捕获非线性跨通道交互,其中SKNet引入固定缩放率来降低模块参数,多尺度动态自适应卷积引入非线性函数来确定缩放率。与两者不同的是,本模型采用自适应大小的一维卷积来生成注意力权重Z

(11)

Z=Act(δ(Ca(Ugap)))

(12)

式中:Ca为自适应大小卷积;b和γ为常数,本文取b=1,γ=2;c为输入特征的通道数;Ugap是全局信息。

(3)选择。注意力权重经Softmax函数得到其分支权重,最后生成权重系数

(13)

(14)

(15)

式中:ac、bc、cc分别是a、b、c的第c个元素,a、b、c分别是U1、U2、U3的软注意力向量;Ac、Bc、Cc分别是A、B、C的第c行,A,B,C∈Rd×d。

权重系数ac、bc、cc和特征图U1、U2、U3分别相乘后相加,得到校准后的新特征图V

V=acU1+bcU2+ccU3

(16)

ac+bc+cc=1

(17)

多尺度自适应选择卷积流程如图2所示。

图2 多尺度自适应选择卷积流程Fig.2 The flow chart of multi-scale adaptive selective convolution

加入残差连接构建多尺度自适应选择卷积块(MSASCblock),残差连接可以帮助传递梯度信息,能够有效解决网络退化问题[26-27]。当残差映射与恒等映射通道数不同时,利用1×1卷积和BN进行下采样操作来调整通道数。

在特征分类层,首先利用全局平均池化对特征进行降维,可以一定程度防止网络过拟合,之后利用全连接层和Softmax对降维后的特征进行分类,模型结构参数如表1所示。

表1 MSASCNN模型结构

2.2 诊断流程

图3给出了MSASCNN的轴承故障诊断流程。将振动加速度传感器采集到轴承振动信号利用滑动窗口进行不重叠采样,每个样本的长度为1 024,对样本数据进行归一化处理。

将样本数据划分为3个子集:训练集、验证集和测试集,划分数据量比例为8∶1∶1。利用训练集和验证集完成诊断模型的训练过程,训练采用交叉熵损失函数来衡量模型预测值和真实值的差距,使用Adam算法更新模型梯度,训练轮数为150,批量大小为16,学习率为0.001。在获得最优参数后,使用测试集对模型的轴承故障诊断性能进行评估。

图3 MSASCNN模型诊断流程Fig.3 The flow chart of MSASNN for fault diagnosis

3 实验验证与分析

3.1 参数设置

为验证提出模型的轴承故障诊断能力,在两个轴承数据集进行实验评估。使用Pytorch深度学习框架,计算机配置如下:Inter Core i5-8300H处理器,NVIDIA GeForce 1050Ti图像处理器,16 GB内存。

3.2 凯斯西储大学轴承数据集

凯斯西储大学(CWRU)数据集由凯斯西储大学轴承数据中心[28]提供,作为测试轴承诊断方法的标准参考被广泛应用。本次实验选择采样频率为12 kHz的驱动端轴承数据,轴承型号为SKF6205深沟球轴承,其中包括不同故障直径大小下的外圈故障、内圈故障和滚动体故障,实验选择负载为0下的数据集,具体数据集信息如表2所示。

表2 CWRU轴承数据集

在实际应用中,滚动轴承会受到大量环境噪声干扰,环境噪声会直接影响故障诊断的准确率。为验证模型的抗干扰能力,向原始振动信号中加入不同信噪比的高斯白噪声来构建噪声环境。图4为原始振动信号和加入信噪比为-7 dB的高斯白噪声的噪声振动信号。可以看出,原始振动信号被严重干扰。

(a)原始信号

(b)噪声信号

为验证多尺度自适应选择卷积块中,不同卷积数以及残差连接对模型诊断性能的影响,在信噪比为-7 dB的噪声环境下进行对比。大小为5×1、7×1、9×1的3个卷积组成多尺度自适应选择卷积块C3,大小为5×1、7×1的两个卷积组成的多尺度自适应选择卷积块C2。只有一个5×1卷积层但保留残差连接的卷积块C1。还有不包括残差连接的5×1卷积块C0。其余模型结构和参数不变。为消除偶然误差,测试5次,并取平均值作为最终结果。实验结果如下:C0卷积相比于C1卷积,在没有残差连接的情况下,准确率为65.8%,在噪声干扰的数据集下模型容易出现过拟合情况,而C1卷积在加入残差连接后准确率到达85.49%,残差连接可以学习到原来的初始特征,有利于梯度的反向传播,能够有效避免模型训练中存在的退化现象。同时,C2卷积块准确率达到了89.31%。C3卷积块的准确率到达93.58%,高于其他卷积块。不同卷积的数量越多,提取到的不同时间尺度特征就越多,得到的多尺度融合特征就越丰富,这可以弥补单一尺度卷积提取特征能力有限的缺点,有助于模型识别故障特征。

同时,在信噪比为-7 dB的噪声环境下,将多尺度自适应选择卷积块中注意力权重层不同的融合操作以及不同方式的宽卷积输入的影响进行了对比。原始融合操作是利用两个全连接层提取注意力权重,两个全连接层的结构和固定缩放率都为SKNet中的默认结构和超参数。改进的融合操作是采用自适应大小的1D卷积提取注意力权重。不同大小的宽卷积合并输入,其大小分别为128×1和64×1,单个大小为128×1的宽卷积和单个大小为64×1的宽卷积,其余参数一致。模型改进影响的实验结果如表3所示。

表3 模型改进的影响

从表3可以看出,相比于单一宽卷积提取特征,通过不同大小的宽卷积提取并合并的初始特征更为丰富,准确率高于单个宽卷积128×1和单个宽卷积64×1时的。在不同大小的宽卷积同时提取特征的情况下,采用自适应大小1D卷积获取注意力权重的准确率略高于SKNet中两个全连接层获取注意力权重的准确率。两个全连接层中需要引入固定缩放率以及其他超参数,面临不同任务时,固定缩放率会影响模型性能,而自适应大小卷积能避免超参数的调整。

在信噪比为-7、-3、1 dB的噪声环境下,将MSASCNN与WDCNN[6]、MC-CNN[13]、ResNet[29]进行实验对比。MC-CNN首先利用100×1、200×1和300×1的不同大小宽卷积并行提取不同尺度的信号特征,再连接3个卷积层提取深层特征;WDCNN采用64×1的宽卷积来抑制噪声干扰;ResNet在图像处理等多个领域具有良好的分类能力和鲁棒性,利用残差连接来学习更深层次的复杂特征,对比实验中选择ResNet18。不同模型的诊断性能对比实验结果如表4所示。

表4 不同模型的诊断性能对比

从表4可以看出,不同模型的诊断能力会随着信噪比的降低而逐渐下降,在信噪比为-7 dB的噪声干扰下,其他方法的诊断能力都受到严重影响,而MSASCNN达到了最高的准确率93.58%。ResNet18的准确率低于MSASCNN,这是因为其卷积大小要小于MSASCNN的卷积大小,卷积的感受野有限,不能捕获足够的时间尺度特征,一定程度上容易受到噪声干扰。在对比实验中,MSASCNN准确率远高于其他方法,在噪声环境下诊断性能良好。

3.3 XJTU-SY轴承数据集

XJTU-SY轴承数据集由西安交通大学设计科学与基础部件研究所和浙江长兴昇阳科技有限公司提供[30]。测试轴承类型为LDK UER204,采集频率为25.6 kHz,数据集包含3种工况下15个滚动轴承的全寿命周期振动信号,包含单一、复合故障等多种失效形式,具体数据集信息如表5所示。

表5 XJTU-SY轴承数据集

为验证本文提出的模型在XJTU-SY轴承数据集上的故障诊断能力,在添加信噪比为-3 dB的噪声环境下,加入WDCNN、MC-CNN、ResNet这3种模型进行对比。实验结果如下:WDCNN诊断准确率最低,为46.66%。MC-CNN利用并行的3个不同大小的宽卷积层提取轴承故障特征,一定程度上能够抵抗较低信噪比的噪声干扰,诊断准确率为77.91%。ResNet利用深层网络和残差连接获得了较高的诊断结果,诊断准确率为 87.18%。MSASCNN利用不同大小的宽卷积层抑制噪声,再通过多尺度自适应选择卷积块提取特征,诊断准确率为95.93%,高于其他方法。实验结果表明,MSASCNN在面对多种失效形式的轴承故障时,依旧能够保持良好的诊断性能。在信噪比为1 dB和-2 dB的噪声环境下,利用t-SNE[31]降维技术对MSASCNN分类过程进行了可视化分析,结果如图5所示。

(a)信噪比为1 dB下的初始数据分布

(b)信噪比为1 dB下的模型分类后数据分布

(c)信噪比为-2 dB下的初始数据分布

(d)信噪比为-2 dB下的模型分类后数据分布

从图5可以看出,在信噪比为1 dB和-2 dB的噪声干扰下,初始时的振动数据分布混乱,类与类之间出现严重混叠现象。通过MSASCNN分类之后,在信噪比为1 dB噪声环境下,不同故障状态的振动数据分布清晰,类与类之间不存在混叠现象,类内距离小。信噪比为-2 dB噪声环境下,整体的分类结果良好,可以区分不同类的数据,少部分数据样本受噪声干扰,出现分类错误情况,每个数据的类内距离相比于在信噪比为1 dB噪声环境下的类内距离较大,类与类之间的距离较小,可以看出低信噪比的噪声对模型分类有一定的干扰。可视化结果进一步验证了MSASCNN的轴承故障诊断性能良好。

4 结 论

本文针对传统多尺度卷积神经网络中不同尺度的特征融合方式单一的问题,提出了一种多尺度自适应选择卷积神经网络的诊断模型,得到主要结论如下。

(1)MSASCNN利用多尺度自适应选择卷积块提取不同尺度的特征,并通过注意力机制自适应调整不同尺度的特征权重来选择关键特征,再加入残差连接来防止模型退化,提高了模型的自适应能力和鲁棒性。在CWRU轴承数据集和XJTU-SY轴承数据集上的噪声实验表明,MSASCNN具有良好的抗噪能力,能够有效诊断轴承故障。

(2)不同卷积数和加入残差连接的对比实验结果表明,3个不同大小的多尺度自适应选择卷积块能够提取更丰富的多尺度特征,在噪声环境下具有更好的特征学习能力和良好的故障诊断结果。

(3)模型改进对比实验结果表明,特征筛选层利用不同宽卷积同时提取特征,并在注意力权重层加入自适应大小的一维卷积,获得了最高的诊断精度,验证了模型改进的有效性。

(4)本文实验是在足够标记数据的轴承数据集下进行的,但在工业生产中工况复杂,很难获得足够的故障数据,因此未来将进一步研究小样本条件下的轴承故障诊断。