王 洋，杨 立

（1.海军工程大学 动力工程学院，湖北 武汉 430033；2.中国人民解放军92840部队，山东 青岛 266500）

1 引 言

旋转机械的状态监测与故障诊断是早期发现故障隐患，避免遭受更大损失的重要途径，在保障工业生产和舰船装备运行的安全性、可靠性方面发挥着重要作用。国内外许多专家学者对此展开了广泛而深入的研究，常见的旋转机械监测与诊断技术主要有振动信号监测诊断技术、声信号监测诊断技术、温度信号监测诊断技术和油液分析诊断技术［1］。

红外监测诊断技术是一种温度信号监测诊断技术，是利用红外技术了解和掌握设备的工作状态、早期发现故障并能预报故障发展趋势的监测诊断技术［2］。对于运行中的旋转机械，通过热像仪可以探测到肉眼看不到的温度信息，可以大范围、全面地监测旋转机械各个部件的表面温度，通过温度的高低和温升的正常与否就可以判断旋转机械的故障情况。

近年来，深度学习技术发展迅速、应用广泛，在红外故障诊断中也取得了一定的进展。其主要分为两种，一种使用图像分类算法进行设备分类或者状态判别，一种使用目标检测算法直接检测故障。

图像分类算法主要有AlexNet、VGG（Visual Geometry Group）、GoogLeNet、ResNet等。文献［3］通过改进AlexNet模型对变电设备红外图像分类进行研究，识别不同设备的运行状态；文献［4］通过AlexNet模型提取电力设备图像的特征，结合随机森林算法实现电力设备智能识别；文献［5］基于VGG构建模型对电力设备红外图像进行缺陷智能检测；文献［6］利用VGG16卷积神经网络对电气设备红外图像进行特征提取和图像检索以实现智能诊断；文献［7］等基于VGG16构建卷积神经网络对散热器六种状态进行故障诊断和状态监测；文献［8］等用改进贝叶斯优化ResNet网络，并对变电站设备红外图像进行热故障诊断。

目标检测算法主要有R-CNN（Regions-Convolutional Neural Networks）、Fast R-CNN、Faster R-CNN、YOLO（You Only Look Once）v1、SSD（Single Shot MultiBox Detector）、YOLO v2、Mask R-CNN、YOLO v3等。文献［9］基于Faster R-CNN算法对七种变电设备进行目标检测，然后基于温度阈值判别法对设备区域进行缺陷识别；文献［10］通过改进Faster R-CNN的特征提取与锚帧选择来进行光伏组件热点缺陷检测；文献［11］基于Mask R-CNN迁移学习对红外图像电力设备进行检测研究，为设备分区和故障区域检测提供支撑。文献［12］通过改进YOLO算法预测流程，对电力设备红外图像的故障点快速识别进行研究；文献［13］通过优化YOLO v3网络结构，对高压开关设备进行故障点检测和定位；文献［14］使用Faster R-CNN和YOLO进行电力设施的远程故障检测分析；文献［15］将YOLO和ResNet相结合，实现红外视频多目标跟踪和分类。文献［16］基于SSD对电力设备红外图像异常进行自动检测研究，实现电力巡检设备智能化；文献［17］使用Faster RCNN和SSD检测电力设备红外图像异常区域并对设备进行识别，以实现智能巡检；文献［18］使用BP神经网络进行温度修正，使用轻量化改进的SSD算法对电力设备红外热成像故障进行识别。

上述国内外研究工作中，图像分类算法主要用于对电气设备进行红外故障诊断；在目标检测算法中，也主要是对电气设备进行故障部位检测和定位，对旋转机械设备进行研究相对较少。此外，在电气设备的红外故障诊断中，一种主要进行电气设备故障类型分类，另一种主要对电气设备各种故障现象和部位直接检测定位或者简单通过部件区域温度进行故障判别。前者需要对红外图像各电气设备区域提前进行划分，后者受环境条件、测温距离、目标发射率等影响较大。在上述提出的红外智能诊断中，均未考虑测温因素对于红外成像及智能诊断的影响，且仅使用图像分类算法或者目标检测算法进行设备分类或者直接检测故障，未能将两类算法有机融合，发挥最大作用。

为此，本文综合两类算法进行旋转机械红外故障诊断研究。首先使用红外热像仪进行红外温度采集；然后使用局部自动伽玛变换对温度矩阵进行红外成像与增强，增强后的图像使用已训练过的目标检测网络自动识别部件类型、自动提取各部件区域，根据识别的部件类型和区域，针对可能存在的不同测温环境、不同发射率等因素对各部件表面温度进行重新换算，换算后再使用全局自动伽玛变换进行红外图像重构；最后将重构后的图像使用已训练过的各部件图像分类网络进行状态分类和故障判别，从而实现旋转机械故障诊断智能化、自动化，更好地应用于机械装备的日常管理与状态监测。

2 理论方法

2.1 红外成像算法

热像仪厂家的红外成像核心算法属商业机密，并未对外公开，比如FLIR公司使用的是一种数字细节增强技术（Digital Detail Enhancement，DDE）。因此，除非使用热像仪配套软件，否则难以从红外图像得到其温度数据。对于想要同时获取图像灰度与温度信息的研究者来说，直接提取温度信息，然后进行温度灰度转换，这样一张灰度图像就能满足同时研究温度、灰度的需要，特别是能够获取我们最关心的高温区域信息。红外成像算法有许多，由于伽玛变换具有广泛的适应性，能够增强图像，因此本文基于伽玛变换来进行红外成像。

2.1.1伽玛变换

伽玛变换［19］又被称为指数变换或者幂次变换，其数学表达式为：

其中：gGamma为变换后的灰度值；c为缩放系数，通常取1；gi，j为变换前的灰度值；γ为伽玛系数。

伽玛变换示意图如图1所示，可以根据γ值大小增强灰度图像的不同区域。当γ>1时，图像的高灰度区域范围扩大，对比度增强；当γ<1时，图像的低灰度区域范围扩大，对比度增强；当γ=1时，图像保持不变。

图1 伽玛变换示意图Fig.1 Schematic diagram of Gamma transformation

对于红外温度成像，伽玛变换可以直接使用温度值来转换，其数学表达式为：

其中：ti，j为二维温度矩阵中第i行、第j列的温度值，gGamma为相对应的二维灰度值矩阵中的元素，tmax、tmin分别为二维温度矩阵中的最大、最小温度值。

伽玛变换能平滑地增强红外图像，当低温数据较多，灰度图像整体较暗时，可以使用γ<1增强暗区灰度图像对比度；当高温数据较多，灰度图像整体较亮时，可以使用γ>1增强亮区灰度图像对比度。

2.1.2全局自动伽玛变换

相对于直方图均衡化图像增强算法，伽玛变换具有更为平滑的图像增强效果，但是伽玛变换的难点在于合理的选取伽玛系数。为此，本文提出一个公式自动计算伽玛系数，该公式可以根据红外温度数据分布规律自动计算伽玛系数，从而实现红外图像自动成像并增强。其伽玛系数计算公式为：

其中：ti，j为红外图像某一点的温度值；m、n为图像的像素大小（1≤i≤m，1≤j≤n）；M为像素总个数（M=mn）；tmax、tmin分别为所有温度值中的最大、最小值；tmid为最大、最小温度值的平均值，称之为中间值。

该计算公式可以合理确定伽玛系数，适用于中间值不为零以及伽玛系数不为负的情况，否则先将温度值归一化后再根据上式计算伽玛系数。对于低温度值、低灰度值较多的红外图像，其平均值小于中间值，伽玛系数小于1，图像低灰度值区域得到拓展，对比度得到增强；对于高温度值、高灰度值较多的红外图像，其平均值大于中间值，伽玛系数大于1，图像高灰度值区域得到拓展，对比度得到增强；对于温度、灰度分布均匀的图像，伽玛系数约等于1，图像基本上保持不变。

2.1.3局部自动伽玛变换

全局自动伽玛变换是从最低到最高温度值直接变换为最低到最高灰度值，此外，也可以将灰度图像中一定比例（如1%）的最高灰度值和最低灰度值分别转换为1和0，将其他灰度值按自动系数进行伽玛变换，即为局部自动伽玛变换，此时的头尾部灰度值分界线对应的温度值即为图像的温标值，其转换公式为：

其中，伽玛系数为：

其中：∑(a

其 中：N(ti，jb)分 别 代 表 图 像 中 温度小于a的数据个数和大于b的数据个数，P(ti，jb)分 别 代 表 图 像 中 温 度 小 于a的数据个数和大于b的数据个数在图像数据总数中的占比，M为图像温度数据的总个数。

此外，也可以直接定义a、b的值，此时a、b值即为红外图像的温标值。

2.2 Faster R-CNN目标检测算法

Faster R-CNN［20］是 由Ross Girshick等 人 提出的更快、更准的目标检测网络，其结构框架如图2所示，包含3个关键模块，即Feature Extrac⁃tion（特征提取网络）、Region Proposal Network（区域建议网络，简称RPN）、Classification and Regression（区域分类与回归）。用一个神经网络将这3个模块结合起来，训练了一个端到端的网络。

图2 Faster R-CNN结构框架Fig.2 Framework of Faster R-CNN

图片输入Faster R-CNN网络后，首先由特征提取网络来提取特征图，然后在特征图上的每一个锚点上取多个候选的区域，并根据相应的比例将其映射到原始图像中；接着将这些候选的区域输入到区域建议网络中，RPN对这些区域进行分类，然后根据分类的得分对这些区域进行排序，给出比较准确的建议区域；接着对这些不同大小的建议区域进行RoI pooling（区域池化）操作，输出固定大小的特征图；最后将其输入区域分类与回归网络中，利用卷积进行区域分类，同时进行区域回归，精确调整区域，输出最优目标区域及区域得分，从而实现目标区域检测。

2.3 ResNet50图像分类算法

深度学习图像分类算法模型主要有AlexNet、VGG、GoogLeNet、ResNet等，其 中ResNet［21］采用残差学习，具有更好的分类准确率，因此采用ResNet50模型进行故障判别。通过Matlab分析ResNet50的网络结构可知：其总共包 含177层，如 图3所示，其中卷积53层，池化2层、全连接1层、激活函数49层、批量归一化53层、加法16层、分类1层、输出1层、输入1层。

图3 ResNet50网络结构图Fig.3 ResNet50 network structure diagram

图片输入ResNet50网络后，卷积层使用卷积核对其进行卷积运算、提取特征；然后在批量归一化层使用小批量样本的方差和均值，对中间的网络层输出数据进行标准化处理，使各网络层输出数据更加稳定；再经过激活函数训练出适合进行样本分类的各项参数；而池化层的作用在于特征选取和信息过滤；全连接层的作用为信息聚合；分类层主要对目标图像进行分类。图像在经过上述一系列步骤训练后，可以达到一个适合进行目标图像分类的网络权重，从而对未知的图像进行预测分类。

2.4 红外智能故障诊断方法

针对红外故障诊断中存在的不智能问题，根据旋转机械各个部件的故障机理、表观温度、测温算法、温度阈值均不相同的现实情况，本文在旋转机械各部件准确检测的基础上，对每个部件区域根据不同的测温因素进行红外图像重构，然后对每个旋转机械部件分别进行状态分类，从而实现红外智能故障诊断与状态监测。

该方法步骤流程如图4所示，依次为旋转机械红外温度采集、红外温度成像增强、旋转机械部件识别、部件红外图像重构、智能故障监测诊断。其中，旋转机械红外温度采集依据环境条件，正确设置热像仪的测温距离、环境温度、相对湿度、反射温度、发射率等参数，使用热像仪采集运行中的旋转机械表面温度；红外温度成像增强使用局部自动伽玛变换算法对上一步采集的温度数据进行红外成像，并且增强显示；旋转机械部件识别使用已经过训练的Faster R-CNN目标检测网络对上一步生成的红外图像进行目标检测，输出各个旋转机械部件的类型和图像中的坐标定位；部件红外图像重构根据识别出的部件类型来确定发射率，并通过不同的发射率等因素重新计算该部件表面真实温度，再经过全局自动伽玛变换，对各个部件单独进行红外成像；智能故障监测诊断根据检测出的旋转机械部件类型，以及重构的各个部件红外图像，使用已训练过的图像分类模型ResNet50进行各个部件的状态类别判断，从而实现旋转机械红外智能状态监测与故障诊断。

图4 旋转机械红外智能故障诊断流程Fig.4 Infrared intelligent fault diagnosis process of rotating machinery

3 实验分析

旋转机械故障模拟实验台如图5所示，由三相异步电动机1台、轴承座2个、转盘1个、联轴器2个、负载1台以及实验平台和支架组成。实验中使用的电动机型号为YE2-80M2-4，功率0.75 kW，电压380 V，频率50 Hz，电流1.88 A，转速1 390 r/min；转子系统由两个轴承座、一个转盘组成，两个轴承座型号均为UCPH204，内部轴承型号均为UC204，转盘半径为150 mm，厚度20 mm；联轴器型号为LM-40*50；支架、平台为定制。负载为磁粉制动器，型号为PB-A-1.2，额定扭矩12 N·m，通过KTC800A张力控制器调节扭矩大小。

图5 旋转机械故障诊断实验台Fig.5 Rotating machinery fault diagnosis experimental platform

3.1 实验数据采集与处理

转子系统故障预置示意图如图6所示。转子系统故障实验预置三种状态：正常、不平衡、不对中。其中，通过在转盘外圈上加螺栓来模拟不平衡故障，如图6（b）所示；通过在轴承座下加1.5 mm厚的硬皮垫来模拟不对中故障，如图6（d）所示。

图6 转子系统故障预置示意图Fig.6 Fault preset diagram of rotor system

在准确设置热像仪参数后，通过FLIR tool+软件连接红外热像仪FLIR T650sc采集三种状态下转子系统的红外视频，每次采集前均将实验台冷却至室温，初始环境条件大致相同。间隔30 s分别从转子系统正常、不平衡、不对中状态的红外视频中提取1份红外温度数据，每种状态120份，共360份数据。

电动机故障实验预置三种状态：正常、过载、短路。其中，电动机定子绕组匝间短路故障通过随机磨损一部分线圈来模拟，如图7所示。

图7 定子绕组线圈磨损模拟图Fig.7 Simulation diagram of stator winding wear

正常定子三相绕组线圈电阻均为8.8Ω，磨损后U相电阻变为7.9Ω。电动机额定转矩经过计算为5.15 N·m，通过调节磁粉制动器输出扭矩为7 N·m来模拟电动机过载故障。在准确设置热像仪参数后，通过FLIR tool+软件连接红外热像仪FLIR T650sc采集电动机正常、过载、短路状态下的红外视频。每种状态采集完成后，均使电动机冷却至室温后再进行下一次采集。同样，间隔30秒分别从电动机正常、过载、短路状态的红外视频中提取1份红外温度数据，其中正常120份、过载120份，短路72份，共312份数据。

将两类实验采集得到的所有672份数据随机划分为训练集和测试集，比例为75%和25%，用于后续训练、检测、评估。由于随机数据划分具有不确定性，本文共进行了10次数据随机划分。

3.2 Faster RCNN网络训练

每次数据随机划分后，将所有数据使用局部自动伽马变换转换为红外灰度图像，人工标记转子系统和电动机区域位置，将训练集输入Faster R-CNN网络进行训练，使用测试集进行检测评估，10次随机划分的目标检测结果如表1所示。表中mAP（mean Average Precison）表示目标检测的平均精度，mIoU（mean Intersection over Union）表示目标检测的平均交并比。从表中可以看出，已训练的网络模型可以准确地检测出目标以及目标位置，可以免去手动提取目标的繁琐，实现智能识别。

表1 目标检测结果Tab.1 Target detection results

3.3 Resnet50网络训练

每次数据随机划分后，从中分别提取转子系统、电动机区域温度矩阵，使用全局自动伽玛变换将该区域温度矩阵转换为红外灰度图像。根据ResNet50输入层大小，更改所有样本图像尺寸，并转换为三通道均为灰度值的图像。使用ResNet50网络分别对转子系统和电动机三种状态的训练集图像进行训练，使用测试集进行检测评估，其分类准确率如表2所示。

表2 状态分类准确率Tab.2 State classification accuracy

从表中可以看出，ResNet50网络对于电动机和转子系统三种状态红外图像分类具有较好的效果，输出的网络模型可以用于故障判别。

3.4 红外智能故障诊断方法评估

上面对红外智能故障诊断方法中两个重要的网络进行了训练和评估，下面对整个智能故障诊断方法进行综合评估。

首先从随机划分的测试样本中取一份数据进行检验，单次红外智能故障诊断情况如图8所示。图中输入为热像仪采集的红外温度矩阵，左数第一张图片为其三维网格图；经过局部自动伽玛变换红外成像增强后的灰度图像如第二张图所示，图中可以直观看到旋转机械部件；得益于此，Faster R-CNN网络准确识别定位电动机和转子系统，如第三张图所示，从而为两类部件真实温度换算与红外图像重构打下坚实基础。换算后的重构图像与原图像有细微的差别，主要在于图像各个像素点灰度值大小不同，在图像中难以看出重构前后的差别，但对于部件故障诊断非常重要，最后的诊断结果也与选取的红外温度数据类型相符。

图8 旋转机械红外智能故障诊断情况Fig.8 Infrared intelligent fault diagnosis of rotating machinery

从上述的单份数据检验中可以直观地看到智能诊断方法的处理流程，为更全面地评估该红外智能诊断方法的有效性，使用所有测试集数据进行验证分析，其智能故障诊断准确率如表3所示。

表3 智能故障诊断准确率Tab.3 Intelligent fault diagnosis accuracy

由表中可以看出，基于深度学习的旋转机械红外智能故障诊断方法能够准确诊断所研究的部件和状态，智能诊断平均准确率为90.06%。

4 结 论

本文针对旋转机械红外故障诊断开展了研究，将红外成像、图像增强、目标检测、图像重构、故障判别等技术融合在一起，提出了一套基于深度学习的旋转机械红外智能故障监测诊断方法，实现了从红外温度采集到红外智能故障诊断的技术方法和路线，并且通过故障实验、网络训练、分析测试，对提出的方法和流程进行了检验。结果表明，该方法能够在红外温度成像并增强后直观、准确地识别旋转机械部件类型和位置，并在部件识别的基础上再进行自动故障判别，智能故障诊断准确率为90.06%。该方法和流程经过部件类型和故障种类的扩展后，对于旋转机械故障诊断乃至机械故障诊断具有一定的参考和应用价值。