李 喆, 吐松江·卡日, 范 想, 范志鹏, 万容齐, 白新悦, 吴俣潼

(新疆大学 电气工程学院,乌鲁木齐 830046)

滚动轴承广泛用于各种旋转机械,在支撑旋转的同时常常受到冲击载荷与交变载荷等作用,成为运行环境最恶劣、承担负担最重的零件,极易产生损伤进而影响整个设备的运行[1];据统计,轴承故障率占到所有旋转机械故障的40%～55%[2]。因此,如何准确地进行滚动轴承故障诊断成为各相关领域面临的重要问题。

振动信号分析是一种最常见的滚动轴承故障诊断方法,其无需拆卸机器部件即可挖掘和分析故障类别[3]。该方法主要可分为特征提取与类型识别两步:首先通过时频域方法,如经验模态分解(empirical mode decomposition, EMD)[4]、小波变换(wavelet transforme, WT)[5]、变分模态分解(variational mode decomposition, VMD)[6]等,从原始信号中提取能反映轴承故障点的特征,并构建特征向量;随后利用人工智能诊断技术,如支持向量机[7]、随机森林[8]、多层感知机[9]等,对特征向量进行故障类型识别。虽然传统的人工智能算法已经在轴承故障诊断领域取得了一定效果,但是其对复杂非线性问题学习能力不足,不适用于处理大容量样本,并且较为依赖信号处理技术和人工经验。

近年来,深度学习作为新兴的数据分析方法被广泛应用于旋转机械故障诊断。其中,卷积神经网络(convolutional neural network,CNN)使用最为广泛,并取得了理想效果。基于CNN的故障诊断方法种类繁多,可按输入维度分为两类,第一类方法使用一维振动信号作为CNN的输入。例如,曲建岭等[10]提出了基于端到端的自适应一维卷积神经网络(ACNN-FD)故障诊断算法,通过“时间步”对原始一维数据进行划分后作为输入。李恒等[11]对滚动轴承振动信号进行短时傅里叶变换,得到时频谱样本输入卷积神经网络。然而,原始信号不能显著地表示故障特征,并且大多数已知的CNN模型更容易从高维数据中提取特征信息。因此,通过图像识别模型提高时序分类的精度成为滚动轴承故障诊断领域的研究热点之一。第二类方法将一维信号转换为二维图像,然后利用二维卷积神经网络实现故障诊断。例如,袁建虎等[12]将振动信号进行连续小波变换(continue wavelet transform, CWT)后,再将所得时频图输入CNN分类器模型。Wen等[13]提出了一种将一维振动信号转换为二维灰度图像后作为CNN输入的方法,取得了较好的诊断效果。但上述方法中,时频图无法反映原始信号的完整信息且易受到人工经验的影响,而灰度图像按行堆栈像素而成,难以反映信号中包含的时间信息。为克服上述缺点,格拉姆角差场(Gramian angular difference field,GADF)变换、马尔可夫转移场(Markov transition field,MTF)变换等图像转换方法,在对数据重构时,避免了一维信号信息的丢失,并保留了与时间的相关性。仝钰等[14]提出通过使用GADF变换可以将一维信号转换为二维图像,并研究发现GADF图像比灰度图像、时频图像更容易被CNN识别。雷春丽等[15]采用MTF编码方式将原始一维振动信号转化为二维特征图像,然后通过CNN进行自适应特征提取和故障诊断。近年来,以卷积循环神经网络(convolutional recurrent neural network,CRNN)为代表的深度学习技术在自然语言处理和计算机视觉上展现了突出的能力,该方法本质上就是利用多像素表征样本差异性,从而更好地获取时间序列的深层特征,因此CRNN模型也被应用到轴承故障诊断领域。张训杰等[16]利用GADF将滚动轴承一维振动信号转换为二维图像数据,并提出基于CNN与双向门控循环单元(bidirectional gated recurrent unit,BiGRU)的CRNN诊断模型。

尽管GADF或MTF方法生成的图像保留了振动序列的空间和时间依赖性,在CRNN上实现了故障诊断的功能,但是单一的二维映射存在一定的局限性,且没有充分挖掘CRNN对高维特征提取能力。因此,本文从数据输入形式和特征提取方法两方面着手,针对滚动轴承原始故障数据,提出一种基于双模态图转换和融合CRNN网络的电机轴承故障诊断方法,具体过程如下:

(1) 分别用格拉姆角差场和马尔可夫转移场实现原始一维序列数据的图转换,并用转换后的两种图像共同构成模型输入。

(2) 提出并构建了一种融合循环卷积神经网络,名为Fu-CRNN,该网络分别提取两种图像的相关特征后,将特征融合以进一步提高网络特征表达能力。

(3) 通过分类器实现对不同故障类型的分类。

本文选用来自凯斯西储大学轴承故障试验平台的数据验证所提方法的优越性,通过将不同负载数据分布到训练集、测试集和验证集来评估所提方法的有效性及泛化能力,并分别与GADF图像、MAR图像作为输入的CRNN网络以及其他常见网络进行对比分析。实际算例测试结果表明,该方法在轴承故障诊断问题上相较于传统模型具有更优的性能。

1 基本理论

1.1 格拉姆角差场

GADF是一种图像编码方法,在极坐标系上表示时间序列后,通过GADF矩阵对一维振动信号进行编码来生成包含时间特征的二维图像[17]。假设时间序列X如式(1)所示

X=[x(1),x(2),x(3)…,x(n)]T

(1)

GADF的转换过程可以分为两部分。

第一步:将X中的x(i)通过使用如下归一化操作缩放到区间[-1,1],表达式如式(2)所示

(i=1,2…n)

(2)

(3)

式中:φi为极坐标余弦角;ti为时间戳;r为由时间戳映射的半径;N为生成空间中对极坐标系进行正则化的常数因子。对于取值区间为[-1,1]的时间序列,余弦角在极坐标系上单调分布于[0,π]之间,因此时间序列X在极坐标空间中具有唯一逆映射。

第二步:对于存储时间信息并计算各极坐标三角差的参数φ,该系统可编码为GADF矩阵,表达式如式(4)所示

(4)

式中,I=[1,1,…,1]是单位行向量。矩阵的运算形式对应于正则内积的惩罚形式。此外,矩阵的正对角线中,时间趋势从左上角到右下角表示,因此时间序列的时间相关性得到了很好的保留。

1.2 马尔可夫转移场

马尔可夫转移场是一种将时序信号编码为二维矩阵的方法,该方法能表示时间和概率的动态变化[18-19]。假设一个时间序列为X=[x(1),x(2),…,x(n)]T,其数值可以离散化到Q个分位数单元(bin)中,每个x(i)可以分配给一个相关的分位数qj(j∈[1,Q]),通过沿时间轴以一阶马尔可夫链的方式计算bin之间的迁移概率,得到Q×Q大小的马尔可夫迁移矩阵W,表达式如式(5)所示

(5)

式中,wij=P(x(t)∈qi|x(t-1)∈qj),wij为qj中元素x(t-1)伴随qi中元素x(t)的概率,即分位数qi位于分位数qj后的概率,又称为一步转移概率。

由于矩阵W忽略了X分布与时间步长t(i)间的时间对应关系,故构造MTF来弥补时间信息损失。MTF通过沿时间顺序重新排列k(k=1,2,…,n)步转移概率,得到包含时间步长与每个bin相关性的矩阵M,其表达式如式(6)所示

(6)

式中:Mij为时间序列信号xi映射的bins转移到xj对应的bin的概率。在MTF矩阵中,Mij可以看作是像素点,因此可以通过MTF将时间序列转换为图片表示。

1.3 CRNN网络

CRNN是一类包含卷积计算且具有深度结构的前馈神经网络,主要用于端到端地识别图像文本,将图像识别转化为时序依赖的序列学习问题[20]。典型CRNN网络由CNN与BiGRU级联形成,其结构如图1所示。

图1 CRNN网络结构图Fig.1 The structure of CRNN network

CRNN既具备CNN提取局部特征的优势,又拥有BiGRU提取序列全局特征的长处,其中CNN是由二维卷积和最大池化层组成,即标准CNN中去除全连接层。CNN模块的作用是从输入图像中提取特征序列X,X=(x1,x2,…,xT),其中特征向量xt对应第t个特征映射,更进一步说,xt是由所有特征映射的第t列生成的特征向量连接而成,每一列的宽度被设置为一个像素。因为卷积层、最大池化层和激活函数的平移不变性,所以每一列的特征映射对应着原图中的一个矩形区域,即感受野。感受野与其在特征图中相对应的列顺序相同,因此特征序列中的特征向量与原图中的感受野一一对应,如图2所示。

图2 感受野映射说明Fig.2 Illustration of the map of receptive fields

在二维卷积及池化层后级联的BiGRU由两层相反传播方向的门控循环单元(gated recurrent unit,GRU)组成。GRU被认为是循环神经网络的(recurrent neural network,RNN)的加强版,在继承了短期记忆能力的同时,还避免了RNN在训练过程中出现的梯度消失问题。与另一种常见的RNN变体长短期记忆网络(long short-term memory,LSTM)相比,GRU不仅和LSTM一样解决了梯度消失问题,而且还精简了框架结构,减少了四分之一的参数,进而提升了模型训练速度。

BiGRU相较于GRU对时间特征序列有更强的上下文信息提取能力,可捕捉到GRU无法表征的特征。BiGRU包含的两个GRU分别按照顺序和逆序传播,每个GRU提取某一节点时间序列与其前后片段的关系,将在CNN层生成的特征序列X中的每一个向量xt预测为一个分布概率,然后通过全连接层映射到样本标记空间,此时特征数量与分类数量一致,最后经过分类层及概率归一化后得出预测值。

2 基于Fu-CRNN网络的诊断模型

GADF和MAR方法分别从极坐标和马尔科夫转移概率的角度对一维信号进行编码,拥有深层次相关性特征表征能力。为了结合它们的优点,本文基于由原始一维时间序列数据转换而成的两种模态的二维图像数据,提出Fu-CRNN网络诊断模型。该模型在数据重构模块完成振动信号的二维化后,将生成的两种图片依次输入到特征提取模块,经特征融合模块运算后,输出预测结果并完成故障诊断。模型结构如图3所示。

图3 基于Fu-CRNN网络诊断模型Fig.3 Diagnosis model based on Fu-CRNN network

2.1 特征提取模块

特征提取模块是典型的CRNN网络,由CNN模块和BiGRU模块级联组成,其中CNN模块由7层固定大小的3×3卷积层和5层最大池化层组成,主要用来学习样本图像的纹理、角度和边缘等特征。为了获取更深层次特征,采用激活函数对特征映射进行非线性处理。在激活函数后添加最大池化层,池化层除了实现下采样、降维和非线性等功能,还调整特征映射的尺寸使得最终特征映射为向量形式。随后在CNN模块后级联BiGRU模块,BiGRU将在CNN生成的特征序列S=(S1,S2,…,ST)中的任意向量St预测为标签概率分步yt,其中t∈[1,T],St为高和宽都为一个像素的感受野。GADF图像(G)和MTF图像(M)生成的yt组成新的特征序列G′和M′,进入下一层网络。

2.2 特征融合模块

特征提取模块分别从GADF和MTF图像数据中提取得到不同的特征序列后,为了能让模型同时学习到上述两类特征,对两种模态图像经过同一模块处理后的不同模态输出进行拼接(Concat),从而生成新的融合特征向量。拼接定义如式(7)、(8)所示

Mcat=fcat(M1,…,Ml)=[M1,…,Ml]

(7)

其中,

(8)

拼接函数将CRNN模块提取到的两类图像的特征信息整合后,新向量被输入到神经元数量为100的全连接层,并通过激活函数进行非线性特征学习,最后由Softmax函数判定故障类型概率,概率值最大的即为预测结果。尽管Fu-CRNN网络包含若干种网络构架,但是仍可以在一个损失函数下进行训练,是一种端到端的网络,其整体构架如表1所示。

表1 模型结构示意图Tab.1 Illustration of model structure

3 算例分析及对比试验

3.1 试验数据

算例数据采用来自于凯斯西储大学(CWRU)的轴承故障数据集[21]。所用数据由置于电机驱动端加速度传感器所采集的振动信号构成,采样频率为12 kHz,采集时长10 s,包含4个正常信号、77个外圈损伤信号、40个内圈损伤信号及40个滚动体损伤信号,每条信号含有约121,000个数据。数据集分为10类,包含9种不同故障类型(3种故障部位:外圈、内圈、滚珠,每个部位有3种故障尺寸:0.18 mm、0.36 mm、0.54 mm)以及1种正常类型。

将每段信号按固定滑窗尺寸随机截取,每类故障信号被划分为4 000个样本。为验证模型在不同负载与转速情况下的泛化能力,将不同负载与转速的样本按照8:1:1的比例划分为训练集、测试集和验证集,其中A数据集和D数据集作为训练集,B数据集为测试集,C数据集为验证集,样本构造如表2所示。

表2 滚动轴承样本构造Tab.2 Sample structure of rolling bearing

3.2 图像转换

在本试验中,轴承最低转速为1 730 r/min,由公式N=60f/n计算出每圈所采集的数据量为416。为保障每个样本包含完整的周期信息,并使图像尺寸易于管理,有必要分析不同尺寸滑窗裁剪后的数据长度对Fu-CRNN网络效果的影响。此外,MTF图像编码方法中的参数——分位数(n_bins)也影响模型的最终性能,因此采用3.1节中数据进行试验,其中网络参数仍如表1所示。经验证,数据长度为1 000,n_bins为10时,模型能充分学习时间相关性,取得最高的预测准确率,如图4所示。

图4 数据长度和n_bins对模型预测精度影响Fig.4 Impact of data length and n_bins on accuracy

若按照MTF原理直接将截取的样本序列转化为1 000×1 000像素的MTF图像,则存在诸多弊端,除了图像尺寸过大导致算力需求过高外,更重要的是采样频率过高会使相邻点变化率趋近于零。为了提高计算效率并突出MTF图像表征性能,采用模糊核(blur kernel)不重叠的对每个m×m像素区域进行平均,其中m为图像的边长。GADF编码方法同样面临图像庞大导致算力浪费的问题,因此采用与MTF图像相同的处理办法。

样本通过格拉姆角场和马尔可夫变迁场分别转换为对应图像后,再经过压缩,最终生成的图像分辨率均为200×200。由上述两种转换方法生成的不同故障状态下的图像分别如图5和图6所示。

(a) 滚动体故障0.18 mm

(d) 滚动体故障0.36 mm

(e) 内圈故障0.36 mm

(g) 滚动体故障0.54 mm

(h) 内圈故障0.54 mm

(i) 外圈故障0.54 mm

(j) 正常状态图5 GADF编码轴承故障图Fig.5 GADF code bearing fault map

(a) 外圈故障0.18 mm

(b) 内圈故障0.18 mm

(c) 滚动体故障0.18 mm

(e) 内圈故障0.36 mm

(f) 滚动体故障0.36 mm

(g) 外圈故障0.54 mm

(h) 内圈故障0.54 mm

(i) 滚动体故障0.54 mm

(j) 正常状态图6 MTF编码轴承故障图Fig.6 MTF code bearing fault map

3.3 网络训练

试验模型基于Python的Pytorch框架搭建,所用硬件配置为CPU i7-9750H、GPU GTX-3060、8GB内存。根据超参数对最终模型性能的影响,选取batch_size为64,参数优化器为SGD随机梯度下降优化器,并且采用给定间隔调整学习率策略。初始化模型参数后,使用训练集A、D对模型进行训练,用验证集C对每轮训练后的模型测试准确率和损失值,训练完成后用测试集B评估模型性能。

图7为基于Fu-CRNN网络模型迭代300轮后所获得的准确率、损失值折线图。从图中可以看出,训练模型在迭代了43次时,训练集的准确率达到99.93%,测试集准确率达到99.86%,损失均降低至0.001,模型达到完全收敛,此后训练集与测试集的准确率和损失值趋于水平方向稳定,由此证明本文所提出的基于双图转换和Fu-CRNN网络的模型在对滚动轴承进行故障诊断时是可行、有效的。

(a) 准确率

(b) 损失曲线图7 Fu-CRNN网络诊断曲线图Fig.7 Fu-CRNN model diagnosis curve

为了进一步分析Fu-CRNN对GADF和MTF编码图的特征学习与故障分类能力,绘制了如图8所示的滚动轴承分类混淆矩阵。由图8可知,坐标值0～9分别表示滚动轴承的10种状态,对角线上的深色区域为每类故障归一化后所对应的准确率,其余部分的数值为误分类率。例如实际类别3与预测类别9对应位置的数值为0.001,即在测试集有1个类别3的故障被误分类为类别9,具体含义为有1个0.36 mm外圈故障被错误的分类为正常状态,此外还有1个类别为4的故障被误分类为类别9,即有1个0.36 mm外圈故障错误分类为正常状态。综合图8所有数据可知,在第0、1、5、6、7、8类的滚动轴承故障分类中均取得了很高的诊断效果,而在第2、3、4、9类故障分类中也取得较高的准确率。可以说明,双图转换和Fu-CRNN网络相结合的方法可以在该诊断试验中取得较为满意的分类效果。

图8 滚动轴承分类混淆矩阵Fig.8 Rolling bearing classification confusion matrix

3.4 不同模态图像数据对比分析

为验证本文所提方法的优越性,分别用CWT、GADF和MTF转换方法生成的二维矩阵单独作为CNN-BiGRU 即CRNN网络的输入。同时为突出GADF和MTF图像转换方法的优势,对一维振动信号转换后的CWT、GADF和MTF图像两两组合输入到Fu-CRNN模型。根据单一变量原则,CWT样本、GADF样本和MTF样本直接采用之前生成的样本,数量均为100 000条,且划分方法也与前文一致。当迭代次数取300时,各模型训练得到的测试结果如图9所示。

图9 Fu-CRNN模型诊断曲线图Fig.9 Fu-CRNN model diagnosis curve

从图9中可以看出,CRNN模型在测试集上对于CWT、GADF和MTF转换图像的识别准确率分别为88.51%、94.72%和90.79%,均低于本文所提诊断方法取得的准确率(99.86%),这表明两种图像经Fu-CRNN网络融合后包含更丰富的特征知识,对于模型的分类识别具有更优越的效果。在基于双模态组合模型中,GADF+MTF在故障识别上准确率最高(99.86%),而GADF+CWT和MTF+CWT的准确率分别为97.74%和92.67%,充分表明了GADF和MTF相较于以CWT为代表的时频图像时,可以更完整地保留原始信息,从而保障更高的准确率。

3.5 与其他算法对比分析

为了更近一步验证本文所提模型的有效性,将本文方法中的特征提取模块分别替换为CNN-GRU、ResNet以及LeNet5进行对比分析,同时对每种网络在不同模态图像作为输入时的表现分析对比。

每个模型均使用前文中的图像样本集进行试验,试验的最终结果如表3所示。从表3可以看出任一网络在双图输入时的识别准确率高于单一图像输入时,充分体现出特征融合模块对于识别效果的提升。而在双图输入网络中,CNN-BiGRU的故障诊断精度比CNN-GRU、ResNet以及LeNet5均有所提高,这表明CNN-BiGRU作为特征提取模块时对空间与时间相关性的提取更加充分。尽管目前基于CWRU数据集开展的研究成果中,已有使用GADF方法的端对端网络[22-23]或采用MTF转换图像作为输入,其训练集识别率均达到100%,均高于本文所建模型的训练集识别率0.07%,但针对测试集的故障识别率,上述模型识别率分别为99.08%、99.67%和99.35%,本文所建模型识别率(99.86%)分别高于上述模型0.78%、0.19和0.51%,具有最高诊断精度。尽管由于不同故障识别模型的学习策略、样本划分、基础分类器的差异导致训练集识别率存在区别,但是本文所建模型在测试集上具有最优识别性能。总的来说,本文所建模型相较于传统诊断模型能更准确、更可靠的识别轴承故障类型。

表3 不同图像算法滚动轴承故障诊断试验结果Tab.3 Test results of rolling bearing fault diagnosis with different image algorithms

4 结 论

为了充分发挥卷积循环神经网络对格拉姆角差场和马尔可夫变迁场图像的特征发掘,本文提出了一种基于双模态图像转换和融合循环神经网络的滚动轴承故障诊断方法。利用CRNN对于图像强大的局部特征和全局特征提取能力,分别提取由GADF和MTF方法生成图像的特征,再将提取到的特征向量进行融合,最终由分类器实现状态识别。试验证明,本文所使用的方法对于滚动轴承不同故障程度以及不同故障位置的振动信号识别都取得了较好的识别效果,平均测试准确率达到99.86%,优于常见的诊断模型;且所有试验的训练集、验证集和测试集均由不同载荷和转速的数据集构成,充分验证了模型的泛化性能。综合上述结果,本文所提出的方法充分汲取两种转换方法优点并提高单一CRNN模型特征表达能力,对于滚动轴承故障模式识别有一定的实用价值,为智能故障诊断提供了具有可行的方案。在未来的工作中,针对双模态融合方法导致诊断模型复杂度提高、时间成本增加的问题,有必要通过精简特征提取模块、改进训练策略、采用轻量分类模型等方面改善,进一步发掘Fu-CRNN模型潜力。