舒时克 李 路

(上海工程技术大学数理与统计学院 上海 201600)

0 引 言

随着信息技术的发展，数据的规模越来越大，因此，从众多的特征中选取出有效的特征就成为了一个难点。文献[1]发现在线性回归中加入L1惩罚项的Lasso模型能够有效地筛选因子，建立更好的投资组合模型。Zou等[2]在线性回归中同时加入L1和L2惩罚项，构建了弹性网模型(Elastic Net)，并将其运用到高维数据上，发现Elastic Net模型不仅能够克服高维数据多重共线的问题，也能够克服Lasso模型将特征压缩得过度稀疏的问题。谢合亮等[3]在对比了最小二乘(OLS)、Lasso和Elastic Net之后，发现Elastic Net模型能够比OLS模型和Lasso模型更有效地筛选因子，同时也能克服Lasso模型将系数矩阵过度压缩的缺点，并能构建出更加有效的投资组合。

虽然Elastic Net模型在处理特征时考虑了特征之间的相关性，并筛选出有效的特征，但是却忽略了特征之间相互作用。某个特征的可能与因变量没有直接的关系，但却可以与其他特征结合，对因变量产生显著的影响[4-5]。因此，考虑特征之间的相互作用是十分必要的。同时，高维数据中的特征不可避免地存在着相互关系，仅考虑特征之间的相关性筛选特征，而忽略特征之间的相互作用，往往会造成信息的丢失[6]。而利用信息论来衡量特征之间的交互作用是一种有效的方法[7]。Vinh等[8]提出一种基于互信息的文本分类特征选择方法，同时加入了特征选择中二阶和三阶的交互作用。唐小川等[9]通过联合互信息(JMI)建立了基于信息论的文本分类特征选择模型。……