崔立鹏, 郭红霞, 沈 洁

（天津轻工职业技术学院 电子信息与自动化学院，天津 300350）

在人工智能、机器学习和数据挖掘等领域，很多分类和回归问题的解释变量空间维数很高，甚至是超高维的。然而，高维数据会导致机器学习中的过拟合现象，从而使统计模型的泛化性能变差。因此，对变量空间降维与变量选择问题成为学界研究的热点。变量选择的目的在于两个方面：一是实现精确的预测和分类；二是使模型具有更好的可解释性，降低统计模型的复杂度。所谓可解释性指的是模型的简洁度。显然，变量空间维数越低的统计模型可解释性越好。

如何实现统计模型的变量空间降维？Tibshirani[1]提出的基于L1范数罚的Lasso可有效实现变量空间的降维。Lasso使用L1范数罚的思想可以引入其他领域，例如将其引入支持向量机（support vector machine，SVM）中构成稀疏支持向量机，从而在实现分类的同时进行模型空间的降维。在Lasso刚被提出时，信息技术与生物统计等领域遇到的高维数据集还不太多，因此这种方法并未受到足够的重视，随着现代信息技术、互联网行业与生物信息学等的飞速发展，高维数据集大量涌现，以Lasso为代表的稀疏模型开始受到了广泛的关注。

在统计学中的变量选择领域Lasso具有极其重要的地位，然而学者们通过实验与理论分析发现，Lasso存在一些缺点，并针对Lasso的这些缺点进行了更深入的研究。Zhao等[2]指出其只在非常强的附加条件下才具有Oracle性质；SCAD模型[3]、MC模型[4]和自适应Lasso[5]等统计模型克服了Lasso的这一缺点，与Lasso相比，它们显著减小了对重要变量回归系数的压缩程度，因而这些模型具有所谓的Oracle性质；……