孟小燕

摘 要： 提出一种新的回归算法——基于属性权重的Bagging回归算法。首先使用支持向量机回归或主成分分析方法对样本数据的属性赋以一定的权值，以表明该属性在回归过程中的贡献大小；再根据不同属性的权重大小构建训练使用的多个属性子集。在构建这些属性子集的过程中，按照不同属性权重在总权重中所占比重为概率进行，使得对回归贡献大的属性有更大的可能被选入属性子集当中参与训练；最后，对这些属性子集进行训练，生成相应的多个回归子模型，这些子模型的集合就是通过基于属性权重的Bagging回归算法训练得到的最终模型。

关键词： 支持向量机； 属性权重； 集成学习； 主成份分析； 回归算法

中图分类号： TN911?34； TM417 文献标识码： A 文章编号： 1004?373X（2017）01?0095?04

Abstract： An attribute weight based new regression algorithm called Bagging regression algorithm is proposed. The support vector regression or principal component analysis is used to value a certain weight for the sample data to show the attribute contribution in the regression process. And then the multiple attribute subsets for training were constructed according to the weights of different attributes. The constructing process of the attribute subsets is conducted in accordance with the weights of different attributes as a percentage of the total weight to determine the probability， which makes the attribute with great regression contribution possibly be selected in the attribute subsets for training. The attribute subsets are trained to generate the corresponding multiple regression sub?models. The assembly of these sub?models is the final model trained by the Bagging regression algorithm based on attribute weight.

Keywords： support vector machine； attribute weight； ensemble learning； principal component analysis； regression algorithm

在诸多回归方法中，线性回归方法是一种比较传统的回归方法，通过对自变量和应变量之间统计量的分析，得到一个线性函数[1]。這种回归方法能够很好地拟合线性关系的数据，但是，对于非线性关系的数据则无法做到好的拟合。为了应对线性回归方法的缺陷，提出了支持向量机回归方法。支持向量机回归方法能够解决许多非线性回归问题[2]。本文通过综合应用支持向量机回归方法、属性权重方法和集成学习方法，取长补短，提升现有的支持向量机回归方法的准确度[3]。

1 基于属性权重的Bagging回归方法

1.1 计算属性的权重

1.1.1 通过SVM方法计算属性权重

1.2 基于属性权重对属性进行选取

对于样本数据属性的取舍是基于属性的权重来决定的。……