李济洪, 陈萌萌, 杨杏丽

(1.山西大学 计算中心,山西 太原 030006；2.山西大学 数学科学学院,山西 太原 030006)



高维回归中基于组块3×2交叉验证的调节参数选择

李济洪1,2, 陈萌萌2, 杨杏丽2

(1.山西大学 计算中心,山西 太原 030006；2.山西大学 数学科学学院,山西 太原 030006)

将组块3×2交叉验证方法用于高维回归中的调节参数选择.首先通过ISIS方法把模型的维数降低到样本个数以内,然后使用AENET方法对降维后的模型进行进一步的降维和参数估计,使用组块3×2交叉验证方法选择最佳的调节参数.综合考虑模拟实验中各种调节参数选择方法(AIC、BIC、EBIC、HBIC、5折交叉验证、组块3×2交叉验证)的EMSE值、方差以及计算复杂度,结果表明基于组块3×2交叉验证的方法是有其优势的.

调节参数选择;组块3×2交叉验证;EMSE准则

1 引 言

近年来，高维数据在生物信息、图像处理、金融管理等实际应用领域中频繁出现,因此如何处理和分析高维数据成为急需解决的问题.研究人员发现虽然高维数据的维数很高，但对响应真正起作用的只有很少数的一部分，文献中称为变量的稀疏性，所以如何进行合理的变量选择成为解决高维问题的重要步骤.为了解决高维情形的变量选择问题，学者们提出了许多基于正则化的方法，包括LASSO、adaptive LASSO、SCAD、Elastic Net、adaptive Elastic Net等[1-5].但无论是哪个方法都面临着正则化参数的选择问题，文献中也称其为调节参数选择.在变量选择中，调节参数控制了惩罚水平，如何选择一个恰当的调节参数直接影响着变量选择及其整个模型的结……