APP下载

双核函数最小二乘支持向量机汽油干点软测量建模

2013-12-23赵连彬苏成利

石油化工高等学校学报 2013年3期
关键词:双核向量建模

赵连彬, 苏成利

(辽宁石油化工大学信息与控制工程学院,辽宁抚顺113001)

炼油工厂进行原油精炼的第一步是常减压工艺过程,其生产情况对整个产品收率、油品质量及原油的有效利用都有很大影响。因此,如何检测产品质量是非常关键的环节,现在炼厂里的在线分析仪的检测结果通常存在较大误差,并且维护设备所需费用较高。对此,提出软测量方法。软测量的本质就是建立精准的数学模型[1]。目前,建模方法有很多种,如基于回归方法建模、机理建模等。近些年来,一些专家采用一些智能算法建立软测量模型[2],并成功运用到工业生产过程中,取得了很好的结果。

在常减压精馏工艺过程中,判断汽油油品质量的一个重要质量指标是干点,同时干点也是对常压塔的操作参数进行调控的重要依据。常减压精馏工艺过程具有强耦合、非线性、多变量、大滞后等很多工业参数无法直接测量的特性,因此要想建立精确的机理模型较为困难。为解决这一问题,V N Vapnik等[3]在20世纪90年代依据统计学原理提出支持向量机学习算法,较好地解决了非线性、小样本、局部极小值等其它先进智能算法所不能解决的问题,但因为标准支持向量机本质上是求解二次规划问题,因此当针对较多样本数据时,模型运算速度较慢,模型建立比较困难。对此,J A K Suykens等[4]提出最小二乘支持向量机学习算法,该算法采用等式约束来代替标准支持向量机的不等式约束,较大提高了运算效率。但由最小二乘支持向量机建模过程可知,训练数据集中的每一个数据都对目标函数产生一个有效约束,因此最小二乘支持向量机的解不具有稀疏特性,从而致使针对较大样本时最小二乘支持向量机建模时间较长,同时它的推广能力在一定程度上也受到了影响。对此,Cortes提出Chunking算法,其算法原理是将核函数矩阵中对应Lagrange算子为零的行和列剔除,最终结果不会受到影响,从而把复杂的二次规划问题分解为较为简单的二次规划问题,最后删除所有为零的Lagrange乘子并且保留所有不为零的Lagrange算子,最终大大缩短了模型建立时间。但是无论是标准支持向量机还是最小二乘支持向量机都存在单个核函数的缺陷[5],并且测量结果过于依赖核函数及其参数的选择。针对此问题,李炜等[6]提出一种基于混合核函数最小二乘支持向量机软测量建模算法,该算法采用多项式函数和高斯径向基函数组成混合核函数,避免了单核函数所带来的缺陷。然而,由于多项式核函数的外推能力较弱,所以对未知数据的预测能力相对较弱,不利于模型的推广。

基于此,本文提出基于Sigmoid函数与RBF函数组成的双核函数最小二乘支持向量机软测量建模方法,并将该方法用于汽油干点软测量模型中,其结果验证了本文提出的双核函数汽油干点软测量算法推广能力更强、模型预测精度更高。

1 最小二乘支持向量机

最小二乘支持向量机是标准支持向量机在二次损失函数下的特殊形式,它采用求解线性方程方法得到支持向量,取代了二次规划求解优化问题。基于最小二乘支持向量机函数逼近算法如下:xk∈Rn,yk∈R,xk是输入数据,yk是输出数据。权值ω 的优化问题可以作如下描述:

式中,φ(·):Rn→Rnh 是核空间映射函数;w 是(原始空间)权向量;ek表示误差变量;b 表示偏置量;损失函数J 是SSE误差和或规则化量之和;γ 是调节常数。根据优化函数式,定义拉格朗日函数为:

式中,αk∈R 为拉格朗日乘子(即支持向量)。对式(3)进行求导,得:

消除w,e,可以得到矩阵方程

在矩阵方程中,y=[y1,y2,y3,…,yn];I=[1,1,…,1];α=[α1,α2,…,αn];Ωkl=φ(xk)Tφ(xl);k,l=1,2,…,n;设A=Ω+γ-1l,由于A 是一个半正定阵,所以A-1是存在的,解线性方程组(8)得:

根据Mercer条件,存在映射函数φ 和核函数K(),满足

所以最小二乘支持向量机函数估计为:

2 双核函数最小二乘支持向量机

最小二乘支持向量机虽然减少了模型的复杂性,但同时也失去了稀疏特性,并且因为使用单一核函数,致使其不满足全局拟合和局部拟合能力,只对平坦数据有较高的预测精度。为了解决最小二乘支持向量机稀疏性,本文采用删除部分较小支持向量样本的方法。对于单核函数容易陷入局部最优值,采用Sigmoid核函数和高斯径向基核函数建立双核函数,为提高模型精度和泛化能力使用k-交叉验证的方法对参数进行优化。

2.1 稀疏化处理

最小二乘支持向量机在提高模型运算速度的同时也损失了稀疏特性,本文采用删除部分较小支持向样本的方法,最终降低了软测量模型中数据点的个数,运算速度得到较大改进。其稀疏化步骤如下:第一步:假定全部数据点划分为训练集A 和B测试集;

第二步:由训练集A 确定最小二乘支持向量机的模型参数,并得到相应的最小二乘支持向量机回归模型,根据测试样本点B 测试模型的推广能力。

第三步:计算训练误差:ei=|yi-f(xi)|,i=1,2,3,…,n,式中yi是K 中第i 个输入样本点,f(i)为对应于yi的最小二乘支持向量机的训练值,n为样本总数。

第四步:将ei大小依次排列,将m 个误差过小的数据点去除。

第五步:由余下的A-m 个样本点作为新的训练数据,重新建立最小二乘支持向量机回归模型。

第六步:返回步骤2,直到保证性能指标同时具有较好的“稀疏”特性为止。

此算法是一个递推过程,递推过程中的每一步都需要进行重新求解一个线性方程组。但是由于每经过一步迭代,样本数量会相应减少,所以求解的线性方程组维数也会逐渐地降低,因此求解速度会相应加快。

2.2 双核函数

因为单个核函数的解较容易陷入局部最优值,本文采用双核函数建立软测量模型。对于不同类型的核函数,很难完全解释它们的特性,但一般可以分为两种核函数:一类是全局核函数;另一类是局部核函数。全局核函数具有全局特点,不论是相距较近的点还是距离较远的样本点都对核函数的最终结果有影响;而局部核函数具有局部性,相距较近的样本点才对核函数的结果产生影响。

当选择了一种核函数后,也就选择了一种学习模型,而一个学习模型性能的好坏由学习能力和泛化能力两方面决定,其对应于插值理论就是核函数的插值能力和外推能力[7]。

Sigmoid核函数:

其中κ 是比例系数,ν 是偏移量。图1 是κ=30,ν取不同值的Sigmoid 核函数曲线,由图1 可知,Sigmoid核函数满足全局特性,具有较强的泛化能力,对样本点较近及较远的全部数据点都有影响。

高斯径向基核函数:

其中,p 是径向基核函数宽度参数,是常数。高斯径向基核函数是局部核函数,具有局部核函数的一些特性,其学习能力较强,推广能力相对较弱,图2是p 取不同值时的核函数曲线。

图1 Sigmoid函数曲线Fig.1 Sigmoid function curve

图2 高斯径向基核函数曲线Fig.2 Gaussian radial basis kernel function curve

由图2可知,径向基核函数满足局部核函数的特性,它只对附近的测试点有影响,具有较好的学习能力,其学习能力优于Sigmoid函数,但外推能力较差。所以,为使得双核核函数同时满足较好的学习能力和推广能力。本文选取核Sigmoid函数和高斯径向基核函数的线性组合作为最小二乘支持向量机的核函数。

双核函数:

其中θ 是最优双核系数,θ∈(0,1)是常数。

2.3 模型参数的优化

针对同一个核函数,核参数取值对核函数的性能影响较大。这主要是因为特征空间的结构取决于核参数的取值,而特征空间的结构又对核函数的性能有较大影响。根据支持向量机模型选择可知,判断算法中的参数值是否最优,本质上就是选取合适的参数值以使得算法相应的错误率最小[8]。

本文提出的双核函数最小二乘支持向量机模型中存在Sigmoid参数κ、ν,RBF核宽度参数p,正则化参数γ,最优双核系数θ 等5个可调参数。若分别对其进行优化将非常耗时。由文献[9]研究可知,正则化参数γ,最优双核系数θ 对模型精度有较大的影响。

本文采用k-交叉验证法对模型参数进行选取[9]。k-交叉验证的基本思想如下:首先需要把数据(xi,yi),i=1,2,…,l 分为互不相交且大致分为相等的k 份,即s1,s2,…,sk。然后,对数据进行k次训练与测试,即对i=1,2,…,k 进行k 次迭代。其中的第1 次迭代的做法如下:选择si作为测试集,其 余 的s1,…,si-1,si+1,…,sk合 集 作 为 训 练集;用训练集进行建模训练后,得到相应的回归模型,再用回归模型对测试集si进行测试。记si中交叉验证误为ei,在进行完k 次迭代后,得到个误差e1,e2,…,ek,从而得到k 次迭代的平均误差:

其中Ker为k-交叉验证误差,用来作为评价模型预测效果,并且依据其来调整模型参数,直到得到测试误差最小的模型作为最优模型。

3 汽油干点软测量建模

常减压装置是石油炼制工艺过程的重要环节,炼厂的整体经济效益取决于油品的质量的高低。但是对于油品的质量检测,用现有的仪器很难直接测量。为保证实时准确地获取相关的产品质量指标,需广泛地应用软测量技术[10]。

3.1 常减压工艺简介

本文以某石化公司常减压装置作为研究对象。常减压精馏工艺流程如图3所示,常减压精馏工艺过程的主要单元是初馏塔、常压塔、减压塔。根据原油中不同的组分沸点也不相同,所以能把原油分离为半成品油、汽油、柴油、航空煤油等。汽油可以从常压精馏塔塔顶中分离出来,减压塔在负压力下,可以根据重组分油的沸点不同将其分离出来。因此,在精馏过程中通过调节温度等参数就可以把原油分离出来。

图3 常减压精馏过程工艺简图Fig.3 Often reduced pressure distillation process diagram

3.2 辅助变量选择

从常减压精馏生产工艺机理出发,影响汽油干点的因素很多,通过分析常减压精馏工艺过程,以及与工厂工人的实际经验结合等,最后选择常压塔塔顶压力、常压塔塔顶温度、常压塔中段温度、常压塔中段回流量、常压塔塔顶回流温度5个辅助变量作为软测量模型的输入,汽油干点作为模型输出,建立双核函数最小二乘支持向量机软测量模型。

3.3 实验及结果分析

合理采集100组采样数据,其中60组用来训练软测量模型,另外40组数据用来测试模型。根据试凑法和交叉验证法选择模型参数,本文取Sigmoid核函数的比例系数κ=50,偏移量ν=5,RBF 核宽度参数p=10,正则化参数γ=20,最优双核系数θ=0.5。并分别使用标准支持向量机、单核函数最小二乘支持向量机、双核函数最小二乘支持向量机对模型训练和测试。

以汽油干点作为纵坐标,以样本点作为横坐标。图4是不同算法下汽油干点软测量模型输出值与训练值的对比,图5是不同算法下汽油干点软测量模型预测值与实际化验值的比较。

图4 不同回归算法训练结果对比Fig.4 Comparing the result of Different regression algorithm

图5 不同回归算法测试结果对比Fig.5 Different regression algorithm test results

均方根误差:

最大正误差:Emaxp=max{e(i),0};

最大负误差:Emaxn=max{e(i),0};;

其中,e(i)=y(i)-z(i),y(i)为模型计算值,z(i)实际化验值。表1是训练样本数据和测试样本数据软测量模型性能计算结果。

从图4和图5可以看出,标准支持向量机算法具有最高的拟合能力,但由于标准支持向量机本质上是在一个凸域上求解二次规划,所以对于大样本数据,其训练时间过长,不利于模型的建立。单核最小二乘支持向量机,拟合能力最弱,易陷入局部最优解,导致其均方根误差偏大一些。双核函数最小二乘支持向量机软测量模型的拟合能力介于二者之间,它是通过避免求解二次规划问题,从而优化了模型结构,加快了模型运算速率,明显缩短了建模时间。

表1 不同模型性能比较Table 1 Performance comparison of different model

同时从表1得出,双核函数最小二乘支持向量机软测量模型的均方根误差、最大正误差和最大负误差相对都比较小,说明双核函数能够吸取Sigmoid函数和RBF函数的优点,具有较好的拟合性能和推广能力,有效抑制了单个核函数所引起的预测输出的波动,能够较好的实现汽油干点软测量。

4 结论

对于单核函数最小二乘支持向量机易陷入局部最优解,本文提出双核函数最小二乘支持向量机软测量建模算法,该方法使用Sigmoid核函数与RBF核函数线性加权构成双核函数,用稀疏化方法去除部分较小支持向量样本,降低了模型复杂度,提高了建模速度,缩短了模型建立时间,最后用k-交叉验证法进行参数寻优。汽油干点软测量模型结果表明:该算法具有跟踪性能好,模型精度高,泛化能力强等优点,具有很好的应用前景。

[1] 于静江,周春晖.过程控制中的软测量技术[J].控制理论与应用,1996,13(2):137-144.

[2] 薛美盛,吴刚,孙德敏,等.工业过程的先进控制[J].化工自动化及仪表,2002,29(2):1-9.

[3] Vapnik V N.The nature of statistical learning theory[J].IEEE Transactions on Neural Networks,1999,10(5):988-989.

[4] Suykens J A K.Nonlinear modeling and support vector machines[J].Proceedings of the 18th IEEE Conference on Instrumentation and Measurement Technology,Budapest,2003,25(3):237-246.

[5] Micchelli C,Pontil M.Learning the kernel function via regularization[J].Journal of Machine Learning Research,2005,25(8):1099-1125.

[6] 李信,李炜,黄彩凤.最小二乘支持向量机在汽油干点建模中的应用研究[J].化工自动化及仪表,2009,33(3):14-16.

[7] Walczak B,Massart D L.Local modeling with radial basis function networks[J].Chemistry and Intelligent Laboratory Systems,2000,50(2):179-198.

[8] WANG T,HUANG C.Learning general Gaussian kernel by optimizing kernel polarization[J].Chinese Journal of Electronics,2009,18(2):265-269.

[9] 朱家元,杨云,张恒喜.支持向量机的多层动态自适应参数优化[J].控制与决策,2004,19(2):223-225.

[10] Zhong Wei,Liu Ailun,Yu Jinshou.Studies on building soft-sensing models of multivariable systems[J].Control and Decision,2000,15(2):209-210.

猜你喜欢

双核向量建模
向量的分解
全球金融“F20”在此召开!横沥进入“双核”时代
聚焦“向量与三角”创新题
联想等效,拓展建模——以“带电小球在等效场中做圆周运动”为例
基于PSS/E的风电场建模与动态分析
不对称半桥变换器的建模与仿真
向量垂直在解析几何中的应用
新型夹心双核配和物[Zn2(ABTC)(phen)2(H2O)6·2H2O]的合成及其荧光性能
向量五种“变身” 玩转圆锥曲线
三元组辐射场的建模与仿真