庄曙东，史柏迪*,，陈天翔，陈威

最小二乘支持向量机在U71Mn高锰钢表面粗糙度预测模型中的运用

庄曙东1,2，史柏迪*,1,2，陈天翔1，陈威1

（1.河海大学 机电工程学院，江苏 常州 213022；2.南京航空航天大学 江苏省精密与微细制造技术重点实验室，江苏 南京，213009）

获取了U71Mn高锰钢在特定主轴转速、进给量、铣削深度a、铣削宽度a加工条件下的表面粗糙度的原始数据。基于留出法原则将原始数据依次随机分为两组，一组为训练集用于训练U71Mn高锰钢的预测模型；另一组数据为验证集用于验证模型，并且通过机器学习性能评价指标来确定模型的最终预测精确率。通过实际建模对比发现最小二乘支持向量机预测模型其拟合以及预测精度明显高于传统多元线性回归模型。最小二乘支持向量机（LSSVM）通过对原支持向量机算法（SVM）进行了算法改进，在算法中把原求解Lagrange乘子不等式约束的二次规划（QP）问题，转化为等式约束即求解线性方程组，显著减少了计算机运算的时间复杂度。并且通过寻求结构化风险最小提高了学习机的泛化能力，在观测样本数量较小的情况下，容易实现经验风险和置信范围的最小化，使模型对未知样本有良好的鲁棒性与预测精度。

U71Mn高锰钢；最小二乘支持向量机；表面粗糙度预测模型

U71Mn高锰钢因抗冲击性良好在工程机械中运用广泛。如高速铁路的轨道、履带车辆的主从动轮，甚至碎石机上的碎石板。但高锰钢在切削加工过程中，由于塑性变形大，奥氏体组织逐步转变为细晶粒状的马氏体组织[1]，在切削参数配置不合理的情况下极易导致加工硬化，使得刀具加速磨损的同时后续加工难以进行，最为严重的是加工后表面光整度难以保证，直接影响零件的装配精度与使用寿命。

对于U71Mn高锰钢材料性质，国内外学者已经有了诸多研究[2-3]，但却少有学者专门对U71Mn高锰钢建立表面粗糙度预测模型。其切削参数的配置往往依靠试切法与经验选择[4]，该方式不仅费时费力，而且加工后表面粗糙度难以保证。

论文首先对正交试验获取的原始数据基于交叉验证原则进行了处理。将数据随机分为两类，一组作为训练集用于建立预测模型并且回代模型来检验决定系数，第二组数据为测试集用于最终检测模型精度。并且说明所选用模型评价指标。然后基于传统多元线性回归理论建立了经验公式[5]，由于自变量较多最终导致决定系数较低，在处理多元非线性问题时显然无法进行有效预测。最后建立了最小二乘支持向量机（Least Squares Support Vector Machine，LSSVM）预测模型[6]。该模型可等效为两层神经网络的数学优化方法，作为一种典型的机器学习算法，在小样本下基于10倍交叉验证法来确定参数的预测模型可获得非常好的精确度。

1 初始建模条件

1.1 初始数据的获取

通常希望通过训练集建立泛化性误差小的预测模型。但对于新的待预测样本而言，其规律无法把控，各变量之间的相互作用也无法考量，基于此情况只能尽可能使样本具有所有潜在样本的“普遍规律”，来提高模型预测精度。

为使训练集样本尽可能具有代表性，基于正交试验原则，建立四因素五水平的正交表，选取主轴转速、进给量、铣削深度a、铣削宽度a为变量。结合本实验使用的M-V5CN组合机床参数作为硬性约束设置铣削参数，如表1所示。

以上数据作为模型的训练集，目的在于训练学习机使其发现自变量之间相互作用的关联。并且基于交叉验证的自助法原则，来检验模型的回归拟合性，从而进一步调整模型各项超参数[8]。

表1 正交试验表参数

注：ABCD为关于a与a的正交组合因子；f为每齿轮进给量。

表2 表面粗糙度数据

为使最终模型检验具有尽可能高的可参考性，需有效测试模型的预测精度。最终测试集为5组在MATLAB环境下各铣削参数区间内随机生成、通过实际加工后获得的参数，如表3所示。该组数据作为测试集来测试预测模型的泛化性。

表3 测试集参数

1.2 评价指标的选取

在预测任务中，给定样本集：

式中：y为事例x的真实标记。

要评估学习器，设模型的输出函数为的性能，就要把学习机预测结果()与进行比较，在回归任务中常选取以下指标：

模型的2范数损失为：

模型的1范数损失为：

模型的精度为：

模型的决定系数为：

式中：为决定因子；SSR、SST分别为回归平方和与残差平方和。

其中决定系数亦可直接理解为对整体预测值与观测值拟合度的一个整体评价指标。越大表示模型效果越好，最大值为1，有如下取值：

＝1：表明预测十分准确，没有任何错误；

＝0：表明模型的效果很差；

＜0：表明数据之间没有任何线性关系。

对于每一个建立起来的模型的预测精度均使用以上指标来进行度量。

2 多元线性回归模型的建立与分析

2.1 多元线性回归模型的建立

基于多元线性回归模型理论[9]，可知表面粗糙度与各铣削参数之间的关系是非线性的，得到指数关系式为：

式中：1、2、3、4为对应铣削参数的指数；为除铣削参数之外影响因素的相关系数。

对式（5）两边取对数可得：

表1的25组数据作为的自变量，表2作为对应的取值。式（7）作为一元五次方程只需五组正交数据便可解得，为充分利用上述数据，决定基于最小二乘法对其进行处理。以下改进支持向量机（Support Vector Machine，SVM）算法也是相同思路。

式（7）可化简为：

式中：x与均为向量式；为系数列向量。

为了使预测模型的2范数损失尽可能小，可以得到如下优化目标：

其几何意义可理解为在欧几里得距离最大时、的取值。基于极值的充要条件求导可得：

式（9）的本质为二次函数，凸函数一定可以获得封闭最优解：

将样本数据代入式（12）、式（13）可以得到下列系数的数值解：

代入式（5）得到最终经验公式为：

2.2 多元线性回归模型的拟合性分析

基于式（4）可以获得其决定系数以及各预测样本值与实际值的偏差，如图1所示。

可以发现其预测样本对于样本仅仅只有26%的解释度，误差波动在[0, 0.4] μm。

图1 模型决定系数（r2＝0.25943）

结合式（1）～式（3）可以获得该模型的2与1范数损失以及各项样本预测精度，并绘制出图2。

由图2（c）可知，预测精度在[0.3, 0.7]间波动，结合图2（b）和图2（c）可知样本精度越低其对应的2与1范数损失也越大。

在本案例中传统多元线性回归预测模型对于训练集样本的拟合度未到50%，训练集学习率较差，已没有进行真实样本预测的必要。

3 LSSVM模型的建立与分析

3.1 LSSVM回归模型的建立

给定训练集样本

支持向量机最基本的目的是在训练集中找到一个超平面划分不同类型的样本，如图3所示。从图3可知，面a、b、c均实现了对A和B样本的划分。可直观看到平面a最佳，其具有最佳的抗扰动能力。一般情况下因为训练集的局限性和实际测量误差（噪度）的影响，实际的训练样本可能在一定范围内波动，在这种情况下显然超平面a的鲁棒性最佳[10]，可以将潜在的风险误差最小化，从而实现最佳的泛化性，支持向量机[11]当在做回归任务时也是相同的策略。此为理想情况，在更多情况下会遇到线性不可分问题，如图4所示。

图3 存在多个可行平面将样本进行划分

由图4可知，在低维空间中，该问题线性不可分，但曲线却可以进行划分。通过特定的核函数可以将原样本映射至高维空间中，基于最优化原理，低维线性不可分问题在高维空间中一定有可行解。

为了找到最佳超平面，基于非线性规划求解（KKT，Karush-Kuhn-Tucker conditions）[12]条件可将问题转化为最大化训练样本的几何距离。

图4 映射高维空间划分平面

假定有个训练集样本：

式（15）中函数间隔的取值不会影响最有问题的解，通过将距离设置为1可以简化问题为：

原方程为不等式约束，QP（Quadratic Programming，二次规划）问题求解较为复杂，但基于式（9）的策略。引入样本误差变量e，可得到最终优化问题的lagrange函数为：

该函数为一个凸函数存在最优解，通过求导可以得到其极值为：

代入求解可以得到LSSVM输出形式的简化标准型式为：

将表1和表2的训练数据按照表4的特征参数在MATLAB中训练向量机。

表4 模型特征参数

表4中代价函数是用来确定式（19）中各项参数，用交叉验证中交叉熵验证原则以及上文中最小二乘法思想可以将风险最小化，以此来保证对已知训练集样本的拟合性，且未知样本也能具有良好的泛化性。式（19）中的即对应表4中的内核函数。其中高斯内核[13]用来实现图4的功能，将数据映射至高维空间来寻求最优超平面。对于内核函数的选用尚且为一个未决问题。

训练完成的最小二乘向量机及其正则系数、平方带宽2设置如图5所示。

图5 模型训练完成图（γ＝54.5982，σ2＝5.6557）

在相同的策略以及参数设置下，模型拟合以及预测分析结果具有可复制性。

3.2 LSSVM回归模型的拟合性分析

在拟合度测试中，最重要的是决定系数对训练集样本按照式（4）进行处理，可得图6。

对于测试样本的拟合度良好，最终解释度为96.33，虽不及BP神经网络可以达到近似100%，但也正是因为如此可以有效避免过拟合现象[12]，因为输入的训练样本不可能包含观测变量的所有规律，一旦过拟合对于测试样本便会失去泛化性。

图6 拟合决定系数图（r2＝0.96328）

按照式（3）可以获取各项预测精度。图7的精度测试可以更加直观地反应其拟合情况。

图7 拟合精度图

由图可知各项的精度均在91%以上，无较大的误差项。通过式（1）、式（2）结合图8来观察各项产生的误差以及累计误差。

可以发现其误差各项波动与精度关系呈现反比。相比于传统多元线性回归方程，LSSVM拟合精度、误差波动、决定系数均有较大提升。

3.3 LSSVM预测模型的精度分析

将表3数据代入LSSVM预测模型，按照式（3）、式（4）进行处理可得到图9、图10。

基于以上结果可发现对于未知样本其依旧具有良好的泛化性，可作为参考承担预测任务。

图8 模型性能

图9 预测决定系数图（r2＝0.88174）

4 结论

（1）传统多元线性回归理论，作为一种线性回归模型广义上因为利用训练集来计算参数a和b可以理解为近似有监督的机器学习模型。在简单单变量函数中有着出色的表现，但线性解释往往在多元离散变量中难以实行。在本案例中虽然其推导计算过程相对简单，但是对于训练集样本无法进行有效拟合，低于临界值50%乃至于没有进行测试集预测的必要。在多元非线性拟合和预测任务中模型还是建议选用人工智能机器学习算法，可以有效进行数据挖掘发现其数据特征。

图10 预测精度图

（2）在本文U71Mn高锰钢预测案例中最小二乘支持向量机预测模型有着相对出色的表现。该算法自20世纪90年代出现至今已经有了十分完备的理论体系及验证的数学证明[14]。目前主流各类神经网络算法虽[15]也有着较高的拟合度与泛化性，但是其隐藏层数以及结点数尚无定论，而且对于样本数量需求大，效度信度要求高，较难实行。最小二乘支持向量机通过一种将误差风险降至最低的策略，可以有效保证预测精度。但是其参数确定基于交叉验证原理随着样本数量的增大，其计算时间复杂度也呈现(3)规律增长，在大样本下难以实行。

（3）基于各类算法的预测模型并没有绝对的优劣之分，问题的难点主要是确定本案例最适合的模型。大多数人工智能模型在参数上还有较多的未决问题，往往需要多次调试建模。本论文的预测模型仅适用U71Mn高锰钢，但是该方法可以尝试运用于其他材料。

[1]王豫，斯松华. 高锰钢加工硬化规律和机理研究[J]. 钢铁，2001（10）：54-56.

[2]郑文虎，张明杰. 高锰钢的切削加工[J]. 金属加工（冷加工），2017（12）：45-46.

[3]徐营利，王展，胡晓兵，等. 基于径向基神经网络的刀具寿命预测模型研究[J]. 机械，2019，46（2）：13-16，29.

[4]任小平. 难加工材料切削数据库系统的研究与开发[D]. 山东：山东大学，2010.

[5]王惠文，孟洁. 多元线性回归的预测建模方法[J]. 北京航空航天大学学报，2007（4）：500-504.

[6]Ahmed K. Abbas，Najim A. Al-haideri，Ali A. Bashikh. Implementing artificial neural networks and support vector machines to predict lost circulation[J]. Egyptian Journal of Petroleum，2019（13）：132-156.

[7]范永东. 模型选择中的交叉验证方法综述[D]. 太原：山西大学，2013.

[8]奉国和. SVM分类核函数及参数选择比较[J]. 计算机工程与应用，2011，47（03）：123-124，128.

[9]Nikolaos Pandis. Multiple linear regression analysis[J]. American Journal of Orthodontics & Dentofacial Orthopedics，2016，149（4）：45-52.

[10]张海，徐宗本. 学习算法的稳定性与泛化：一种新的稳定性框架[J]. 数学学报，2009，52（3）：417-428.

[9]丁世飞，齐丙娟，谭红艳. 支持向量机理论与算法研究综述[J].电子科技大学学报，2011，40（1）：2-10.

[10]马小姝，李宇龙，严浪. 传统多目标优化方法和多目标遗传算法的比较综述[J]. 电气传动自动化，2010，32（3）：48-50，53.

[12]周伟达，张莉，焦李成. 支撑矢量机推广能力分析[J]. 电子学报，2001（5）：590-594.

[13]张小云，刘允才. 高斯核支撑向量机的性能分析[J]. 计算机工程，2003（8）：22-25.

[14]Sun A.，Lim E.P.，Ng W.K. Web classification using support vector machine[C]. In Proceedings of the 4th international workshop on Web information and data management，ACM，2002：96-99.

[15]毛健，赵红东，姚婧婧. 人工神经网络的发展及应用[J]. 电子设计工程，2011，19（24）：62-65.

Application of Least Squares Support Vector Machine to Prediction Models of Surface Roughness of U71Mn High Manganese Steel

ZHUANG Shudong1,2，SHI Baidi1,2，CHEN Tianxiang1，CHEN Wei1

( 1.School of Mechanical and Electrical Engineering, Hohai University, Changzhou 213022, China; 2.Jiangsu Key Laboratory of Precision instruments, Nanjing University of Aeronautics and Astronautics，Nanjing 213009, China)

The raw data of surface roughnessof U71Mn high manganese steel are obtained under the conditions of specific spindle speed, feed rate, milling depthaand milling widtha. Based on the cross validation principle, the raw data are randomly divided into two groups: one is the training set to train the prediction models of U71Mn high manganese steel; the other is the validation set to verify the model, and the final prediction accuracy of the model is defined by the evaluation index of machine learning performance. By comparing the models, the present work finds that the prediction accuracy of least squares support vector machine (LSSVM) is significantly higher than the traditional multiple linear regression model. LSSVM improves algorithm of the original support vector machine (SVM). The quadratic programming (QP), which solves the constraint of Lagrange multiplier α inequality, is transformed into the equation constraint, that is, solving the linear equations, which significantly reduces the time complexity of computer operation. The generalization ability of the learning machine is improved by seeking the minimum structural risk. With small number of observation samples, the empirical risk and confidence range is likely to be minimized, which makes the model have good robustness and prediction accuracy.

U71Mn high manganese steel；prediction models of surface roughness；least squares support vector machine

TG84

A

10.3969/j.issn.1006-0316.2020.06.003

1006－0316 (2020) 06－0017－08

2019－12－11

江苏省高校实验室研究会立项资助研究课题（GS2019YB18）；江苏省精密与微细制造技术重点实验室关于机械加工中精密制造的工艺、数学建模的研究课题；中央高校基本科研业务费（2018B44614）；教育部产学合作协同育人项目（20180269005）

庄曙东（1970－）男，江苏常州人，博士，高级工程师，硕士生导师，主要研究方向为智能制造。

史柏迪（1996－）男，江苏常州人，硕士研究生，主要研究方向为表面粗糙度预测，E-mail：sbdhaha413@outlook.com。