王宇

摘要：该文基于误差渐减在线序列 ELM和正则化ELM算法，借鉴正则化ELM算法中计算输出权重向量的方法，即引入正则化因子用以计算权重向量的方法以更新误差渐减在线序列算法中输出权重向量和实际输出，进而提出正则化误差渐减在线序列ELM算法，数值实验表明该算法的优势在学习速度、算法稳定性以及泛化性能方面均有所体现。

关键词：在线序列；误差渐减；正则化

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）11-0273-03

为克服单隐层前向网（SLFN）的学习缺陷，黄广斌于2004年而提出ELM算法[1]。有别于传统算法，ELM算法随机为隐层设定参数，且用最小范数最小二乘法计算算法的输出权重向量。基于ELM算法优势，即学习速度快，泛化能力好，使其得到进一步推广[2-5]。同时，为克服其学习模式的弊端，梁提出在线序列ELM算法（OS-ELM）[6]。由于正则化ELM算法引入正则化因子计算输出权重向量，不仅降低算法复杂度而且提高了算法泛化性能和稳定性，故将其引入OS-ELM系列算法中。

1 预备知识

1.1 正则化ELM算法

正则化ELM算法主体思想如下：

一般而言，所学习的训练样本集

[xi，tiNi=1，xi∈Rd，ti∈-1，1]

包含的输入数据集是可非线性划分的，故通过非线性映射[Φ：xi→Φ（xi）]把样本集中的输入数据集[xi]投射到特征空间[Ζ]中。用[2ω]表示两类数据的间距，并求误差最小时两类数据集间距的最大值，即

[minω，b，ξ：LPSVM=12ω2+Ci=1Nξi] （1.1）

[s，t：ti（W?Φ（xi）+b）≥1-ξi， i=1，…，N] （1.2） [ξi≥0，i=1，…，N] （1.3）

其中C是需人工设定的正则化因子，用于平衡两类数据集间距和误差。由文献[7]中相关KKT理论知识可知，上述优化问题可转化为如下对偶优化问题。

[minω，b，ξ：LPSVM=12i=1Nj=1NtitjαiαjΦ（xi）Φ（xj）-i=1Nαi] （1.4） [s.t：i=1Ntiαi=0] （1.5）

[0≤αi≤C，i=1，…，N ] （1.6）

当有新训练样本输入数据[x]添加到网络进行学习时，SVM最终的决策函数可表示为：