周红标，乔俊飞

(1.北京工业大学 信息学部，北京 100124； 2. 计算智能和智能系统北京市重点实验室，北京 100124； 3.淮阴工学院 自动化学院，江苏 淮安 223003)

基于高维k-近邻互信息的特征选择方法

周红标1,2,3，乔俊飞1,2

(1.北京工业大学 信息学部，北京 100124； 2. 计算智能和智能系统北京市重点实验室，北京 100124； 3.淮阴工学院 自动化学院，江苏 淮安 223003)

针对多元序列预测建模过程中特征选择问题，提出了一种基于数据驱动型高维k-近邻互信息的特征选择方法。该方法首先将数据驱动型k-近邻法扩展用于高维特征变量之间互信息的估计，然后采用前向累加策略给出全部特征最优排序，根据预设无关特征个数剔除无关特征，再利用后向交叉策略找出并剔除冗余特征，最终得到最优强相关特征子集。以Friedman数据、Housing数据和实际污水处理出水总磷预测数据为例，采用多层感知器神经网络预测模型进行仿真实验，验证了所提方法的有效性。

特征选择；互信息；k-近邻；高维互信息；多层感知器

通过特征选择实现数据降维，构建结构精简的辨识模型，能够有效避免输入特征太多造成“维数灾难”以及给学习模型带来“过拟合”等问题[1-3]。目前，特征选择的方法主要有偏最小二乘回归(partial least squares regression, PLSR)[4]、灰色关联分析(grey relational analysis, GRA)[5]和互信息(mutual information, MI)[6-7]等。MI对样本的分布类型无特别要求，可有效捕捉特征间的非线性关系，特别适合多元序列特征选择问题。

互信息是一种衡量两个随机变量之间相互依赖强弱程度的准则，其来源于信息论中熵的概念[8]。……