吴沛冬　苌道方　陆后军　高银萍

摘要：

为解决标准支持向量回归（support vector regression， SVR）在预测港机剩余使用寿命时，误差程度不同的数据会被施以相同程度的惩罚，从而导致预测精度不足的问题，通过对每个数据的惩罚系数添加各自的误差比例，使每个数据的惩罚系数与各自的误差程度成比例，降低误差数据对整体预测精度的影响。实验表明，这种改进SVR相对于标准SVR在不降低计算效率的前提下能有效提高预测精度，并拥有良好的泛化能力。

关键词：

支持向量回归（SVR）; 剩余使用寿命; 惩罚系数; 预测精度

中图分类号：U691.5

文献标志码：A

Prediction of remaining useful life of port machine based on

improved support vector regression

WU Peidonga， CHANG Daofanga， LU Houjunb， GAO Yinpinga

（a.Institute of Logistics Science & Engineering; b.Logistics Engineering College，

Shanghai Maritime University， Shanghai 201306， China）

Abstract：

When the standard support vector regression （SVR） is adopted to protect the remaining useful life of port machine， the data with different degrees of error are given the same degree of punishment， which leads to insufficient prediction accuracy. In order to solve the problem， the respective error ratio is added to the penalty coefficient of each data， so that the penalty coefficient of each data is proportional to the respective error degree， and the influence of the error data on the overall prediction accuracy is reduced. Experiments show that， this improved SVR can effectively improve the prediction accuracy and have good generalization ability compared with the standard SVR without reducing the computational efficiency.

Key words：

support vector regression （SVR）; remaining useful life; penalty coefficient; prediction accuracy

收稿日期： 2018-12-17

修回日期： 2019-03-25

基金項目： 上海临港地区智能制造产业专项（ZN2018010105）

作者简介：

吴沛冬（1995—），男，江苏南通人，硕士研究生，研究方向为机器学习，（E-mail）419224205@qq.com;

苌道方（1978—），男，河南封丘人，教授，博导，博士，研究方向为供应链设计与运营、物流系统运作与优化，

（E-mail）changdaofang@126.com

0 引 言

隨着港机设备不断地更新换代，它们的使用和维护成本也在不断增加，这导致大部分港机制造企业开始由即时维护策略向预测性维护策略进行转变，以此来降低维护成本[1]。预测性维护能够根据设备的相关现场数据，通过回归预测模型预测出设备的剩余使用寿命（remaining useful life， RUL）[2]。在对港机的现场预测中，采集到的现场数据往往特征复杂、数量庞大且包含误差，这将导致那些处理线性问题能力强但处理非线性问题能力一般的方法的预测精度难以保证。

以往对港机维护的研究大多是对港机进行即时状态监测、维修保养，如：安志家等[3]根据天津港港机工作特点，仅将设备状态监测工作与设备日常点检、维修保养及设备故障诊断结合;商伟军[4]使用港机金属结构失效诊断和控制维修技术，对港机运行状态进行预测。在以上的研究中，学者们虽然提出了很好的港机维护方法，但对预测性维护的应用依然较少。本文针对港机在现实维护中会遇到的不确定性和随机性因素，使用预测性维护设计预测港机RUL。

VAPNIK[5]在1995年提出了支持向量回归（support vector regression， SVR），基于VC（Vapnik-Chervonenkis）维理论和结构风险最小原理的SVR拥有更高的泛化能力。SVR基于结构风险最小原理，将置信范围值最小作为优化目标，将训练误差构造为约束条件，以此来提高泛化能力;在求解时，结构风险最小原理使SVR转化为一个二次规划问题进行求解，以此来保证解的全局最优性;决策函数只由少数支持向量决定，因此SVR在处理高维度的样本时计算复杂度不受样本维度的影响。

在过去的研究中，学者们不断对SVR的应用进行优化。YE等[6]基于小波和SVR构建了一种径向分布系统中的故障定位方法。

NIETO等[7]采用粒子群优化技术并与支持向量机结合对引擎的RUL进行了预测。SU等[8]运用自回归滑动平均模型与在线最小二乘SVR相结合的方法对引擎故障进行了在线预测。CHEN[9]通过遗传算法搜索SVR的最优参数，构建了基于遗传算法的SVR模型，并验证了SVR在回归上的优越性。在这些研究中，学者们虽然对SVR进行了改进，但大多是通过一些智能算法对SVR进行优化的，而本质上SVR的性能并没有发生改变。QUAN等[10]运用连续过松弛的方法对SVR进行了改进，提高了SVR的运算效率。陈懿冰等[11]通过动态加权函数使SVR在时序金融预测中效果更好。QUAN等[12]通过对SVR的目标函数进行优化，加快了计算效率。尽管在上述研究中SVR良好的回归能力已经被广泛应用，但其对预测准确性的提升有待研究。

本文使用SVR对港机的RUL进行训练和预测，用来预测的数据会因港机运转现场的各种环境因素影响出现不同程度的随机误差，而标准SVR会对这些包含不同程度误差的数据赋予相同的惩罚系数，在不将惩罚系数设置过大造成训练欠拟合的情况下，包含更大误差的数据会更严重地降低整体的预测精度。针对这个问题，本文通过对包含不同程度误差的数据赋予对应误差比例的惩罚系数，减小误差较大的数据对预测精度的影响。

本文使用故障数据集中较为权威的Turbofan数据集来验证改进SVR的预测效果[13]，选取均方根误差[14]作为评价指标，验证预测精度，这是考虑到它能在同一数量级下最大程度体现预测误差。

1 算法分析

1.1 标准SVR

SVR首先要将输入的非线性数据映射到高维空间进行线性的回归估计，这种变换是通过核函数

K（xi，xj）=Φ

（xi）·Φ（xj）实现的，

Φ表示将输入样本映射到高维特征空间的映射函数。

给定训练集

{（xi，y）， i=1，2，…，n}，其中

xi∈Rk是第i个训练样本的输入，是一个k维列向量

xi=（xi1，xi2，…，xik）T，

y是这个训练样本对应的标签，

y=（y1，y2，…，yn）T。由此可以构造回归函数：

式中，φ（x）为非线性映射核函数，ω和b

分别为相应的系数矩阵和偏移常量，

b=（b1，b2，…，bn）T。

在此回归函数的基础上，通过添加表示误差容忍度的不灵敏损失参数ε，定义线性不敏感损失函数：

即当y与经过训练得到的估计值f（x）之间的距离大于ε时才会计算误差，否则记误差为0。

以式（2）为固定条件使置信范围最小化，如图1所示，加入表示超出允许误差程度的松弛变量ξ和

式（3）中C是惩罚因子，表示允许犯错误的程度，这里设置为常数，表示每个点的惩罚因子都是相同的。

为降低求解复杂度，引入拉格朗日乘子αi和α*i，将问题转化成对偶形式并求解得到部分不为0的参数

（α*i-αi），这些参数就是问题中的支持向量，由它们得到训练过后的决策回归函数：

以上即为标准SVR的原理，下面对提高其预测精度的能力进行改进。

1.2 改进SVR

在标准的SVR中，惩罚因子C对每个点的惩罚作用是相同的，在实际对设备RUL的预测中，采集到的数据往往存在随机误差，对这些包含随机误差的数据赋予相同的惩罚因子，会导致包含不同程度误差的数据训练拟合度相同，这就会使训练中误差较大的项出现过拟合，从而出现整体预测结果偏差较大的现象。为解决这个问题，本文通过对包含不同程度误差的数据赋予对应误差比例的惩罚系数，来减小误差较大的数据对预测精度的影响，

具體执行方式是为原本固定的惩罚系数C添加一个误差比例pi。pi的表达形式如下：

2 算例分析

Turbofan数据集包括训练集和测试集，其中：训练集提供了100个引擎从正常运行到性能衰退的完整的循环过程;测试集提供了每个引擎的一组工作时间序列，但这些序列的终止状态未必是该引擎最终的性能衰退状态。数据集中的每个引擎都有24个监控参数，其中3个参数用来设定引擎的初始状态，另外21个参数见表1。

根据NIETO等[7]的研究，能够参与引擎RUL预测的参数包括T24、T30、T50、P30、Nf、Nc、Ps30、phi、NRf、NRc、BPR、htBleed、W31、W32这14个传感器所测量的参数[7]。

本文通过均方根误差

来评价SVR的预测准确度，ERMS越小说明预测效果越好。分别通过100个引擎的预测精度来评价SVR的泛化能力。为能够从整体预测效果上看出改进SVR的改进效果，计算各种算法在整体训练集下的期望损失并进行对比，即计算并对比标准SVR、改进SVR、线性回归和随机决策森林对100个引擎预测结果ERMS的期望值;分别通过100个引擎的训练时间来评价SVR的计算效率，训练时间越短说明计算效率越高。式（13）中的n为每个引擎时间序列数量之和。

本文方法均通过Python 3.5来编写实现，核函数使用泛化能力较好且在各领域表现出色的如式（14）所示的径向基核函数，

图2a展示了相同参数下4种方法对100个引擎RUL预测误差的对比。图2b更直观地展示了每一个引擎的RUL在采用改进SVR预测时ERMS降低的数值（改进前-改进后）。可以明显看出，对于每一个引擎RUL而言，图2a中的改进SVR的预测误差值都低于标准SVR预测误差值，标准SVR预测误差值都低于随机决策森林预测误差值，随机决策森林预测误差值都低于线性回归预测误差值。通过4种方法的预测结果分别计算ERMS的期望可以得到，线性回归预测结果的ERMS期望为69.44，随机决策森林预测结果的ERMS期望为61.87，标准SVR预测结果的ERMS期望为42.29，改进SVR预测结果的ERMS期望为37.55。由此可以看出，标准SVR相较于常用的线性回归和随机决策森林方法在预测精度上

有较大的优势，而改进的SVR更能提高SVR自身的预测精度。图2b中的数值都大于0，经过计算，ERMS降低的平均值为4.74，得到优化的平均百分比为10.89%。这代表对每个引擎而言，根据预测结果计算所得的ERMS都更小，预测精度都更高，且100个引擎全部得到优化的结果可以证明，改进SVR具有良好的泛化能力。

为证明针对标准SVR的改进没有提高算法复杂度从而提高算法的计算时间，图3展示了标准SVR、改进SVR、线性回归和随机决策森林方法预测各引擎RUL花费的时间对比。

图3a展示了相同参数下，改进前后的SVR对100个引擎RUL预测花费时间的对比。图3b更直观地展示了每个引擎的RUL采用改进前后SVR预测所花费的时间差（改进前-改进后）。由于每个引擎RUL的预测时间较短，从图3a难以看出改进前后的SVR预测每个引擎RUL花费的时间差，但总体可以观察到4种方法的预测曲线基本重合。从图3b可以明显看出，对于每一个引擎而言，改进前后SVR预测其RUL花费的时间之差都在0上下波动。经过计算可知，改进前后的SVR预测各个引擎RUL花费时间的平均差值为9×10-5，考虑到每次计算时计算机状态的不确定，该差值可以忽略，说明该改进方法并未降低SVR的计算效率。

3 结 论

针对标准SVR在对港机剩余使用寿命（RUL）的预测中，对误差程度不同的数据采取相同的误差惩罚，导致预测精度不足的现象，本文对标准SVR进行改进，对惩罚系数添加一个比例系数，调节不同误差数据的惩罚力度，加大对误差较大数据的惩罚，降低大误差数据对整体预测的影响，并将其应用Turbofan数据集进行验证。结果表明，该改进方法的预测效果受异常数据干扰较小，且能够在不降低标准SVR计算效率的前提下，使回归线能够向更准确的方向偏移，提高预测精度，并具有良好的泛化能力。在已经对港机RUL预测精度作出改进的前提下，将进一步研究如何提高港机维护的预测效率。

参考文献：

[1]BAPTISTA M， SANKARARAMAN S， MEDEIROS I P D， et al. Forecasting fault events for predictive maintenance using data-driven techniques and ARMA modeling[J]. Computers & Industrial Engineering， 2018， 115： 41-53. DOI： 10.1016/j.cie.2017.10.033.

[2]ZIO E， MAIO F D. Fatigue crack growth estimation by relevance vector machine[J]. Expert Systems with Applications， 2012， 39（12）： 10681-10692. DOI： 10.1016/j.eswa.2012.02.199.

[3]安志家， 郑奕龙， 王鑫伟. 状态监测在港机设备维护中的应用[J]. 设备管理与维修， 2016（8）： 86-89. DOI： 10.16621/j.cnki.issn1001-0599.2016.08.42.

[4]商伟军. 港机结构失效诊断、控制和维修方法研究及应用[D]. 上海： 同济大学， 2003.

[5]VAPNIK V. The nature of statistical learning theory[M]. Springer， 1999： 267-287. DOI： 10.1007/978-1-4757-2440-0.

[6]YE Lei， YOU Dahai， YIN Xianggen， et al. An improved fault-location method for distribution system using wavelets and support vector regression[J]. International Journal of Electrical Power & Energy Systems， 2014， 55（2）： 467-472. DOI： 10.1016/j.ijepes.2013.09.027.

[7]NIETO P J G， GARCA-GONZALO E， LASHERAS F S， et al. Hybrid PSO-SVM-based method for forecasting of the remaining useful life for aircraft engines and evaluation of its reliability[J]. Reliability Engineering & System Safety， 2015， 138： 219-231. DOI： 10.1016/j.ress.2015.02.001.

[8]SU Shengchao， ZHANG Wei， ZHAO Shuguang. Online fault prediction for nonlinear system based on sliding ARMA combined with online LS-SVR[C]//Proceedings of the 33rd Chinese Control Conference. IEEE， 2014： 3287-3291. DOI： 10.1109/ChiCC.2014.6895482.

[9]CHEN Kuan-Yu. Forecasting systems reliability based on support vector regression with genetic algorithms[J]. Reliability Engineering & System Safety， 2007， 92（4）： 423-432. DOI： 10.1016/j.ress.2005.12.014.

[10]QUAN Yong， YANG Jie， YE Chenzhou. Successive overrelaxation for support vector regression[J]. Journal of Software， 200： 648-651. DOI： 10.1007/3-540-39205-X_109.

[11]陳懿冰， 张玲玲， 聂广礼， 等. 基于改进的支持向量回归机的金融时序预测[J]. 数学的实践与认识， 2012， 42（4）： 38-44. DOI： 10.3969/j.issn.1000-0984.2012.04.006.

[12]QUAN Yong， YANG Jie， YAO Lixiu， et al. An improved way to make large-scale SVR learning practical[J]. EURASIP Journal on Advances in Signal Processing， 2004（8）： 1135-1141. DOI： 10.1155/S1110865704312096.

[13]YANG Zhe， BARALDI P， ZIO E. A comparison between extreme learning machine and artificial neural network for remaining useful life prediction[C]//2016 Prognostics and System Health Management Conference. IEEE， 2017： 1-7. DOI： 10.1109/PHM.2016.7819794.

[14]CHAI T， DRAXLER R R. Root mean square error （RMSE） or mean absolute error （MAE）？—Arguments against avoiding RMSE in the literature[J]. Geoscientific Model Development， 2014， 7（3）： 1247-1250. DOI： 10.5194/gmd-7-1247-2014.

（編辑 贾裙平）