宋丹丹, 翟俊海,2, 李 艳,2, 齐家兴

1(河北大学 数学与信息科学学院,河北 保定 071002) 2(河北大学 河北省机器学习与计算智能重点实验室,河北 保定 071002)

1 引 言

极限学习机(Extreme Learning Machine,ELM)是Huang等[1]提出的训练单隐含层前馈神经网络的一种算法，它与传统的算法不同，随机生成输入层到隐含层的连接权和隐含层结点的偏置，随后用Moore-Penrose伪逆方法求解隐含层到输出层的权值.研究人员只需手工控制隐含层节点的个数，调整参数的过程无需人工干预，收敛速度快，泛化能力强.

近十年来，ELM的理论和应用有了很大的发展.Huang等[2]证明了ELM具有很好的SLFNs通用逼近能力，利用常见的激活函数，就能够学习到所有参数，能够得到传统FNN的最优泛化边界.Wang等[3]利用初始局部误差模型(LGEM)研究了ELM的泛化能力.为应对不同的实际应用，研究人员提出了多种ELM的变体.例如，在ELM分类器优化方面，Bai等[4]提出了一种稀疏ELM(S-ELM)，用不等式约束代替了传统ELM模型中的等式约束，大大减少了存储空间和测试时间.与支持向量机相似，带有不等式约束的S-ELM也会导致二次规划问题.然而，由于没有涉及偏置项，S-ELM在训练中比svm更有效.翟等[5]提出了一种改进灵敏度分析的在线自适应极限学习机算法，该算法引入了新型的计算灵敏度的方法，降低了算法复杂度和训练时间并提高了预测精度.在集成方面，Lan等[6]提出了一种在线序列ELM(EOS-ELM)集成，该集成以多个独立训练的OS-ELM的平均预测作为最终预测.EOSELM进一步提高了OS-ELM的预测精度,实现了ELM算法在线序列……