基于正则化KL距离的交叉验证折数K的选择
2021-04-06褚荣燕杨杏丽李济洪
计算机技术与发展 2021年3期
关键词:模型
褚荣燕,王 钰,杨杏丽,李济洪
(1.山西大学 数学科学学院,山西 太原 030006;2.山西大学 现代教育技术学院,山西 太原 030006;3.山西大学 软件学院,山西 太原 030006)
0 引 言
在机器学习中,交叉验证技术广泛地应用于模型(算法)性能评估、特征选择、模型选择、模型参数确定、过拟合检验等任务[1-5]。例如,给定一组线性空间(模型),在这些线性空间(模型)中选择最佳的最小二乘估计量时可用交叉验证进行模型选择。所谓交叉验证技术,即数据集被随机地切分为多个训练集和测试集,训练集用来进行模型的拟合,测试集用来进行模型性能的评估,最后通过多次性能评估的均值(投票)来分析模型的优劣。其中,常见的交叉验证技术包括留一(leave-one-out)交叉验证、Hold-out交叉验证、RLT(repeated learning testing)交叉验证、5×2交叉验证、组块3×2交叉验证、组块m×2交叉验证、K折交叉验证等[6-9]。在这些交叉验证技术中,K折交叉验证是最广泛使用的方法,因为它依赖于一个整数参数K,比其他经典交叉验证方法的计算代价更小。K折交叉验证指的是数据集被平均分成K个大小近似相同但不相交的子集,选取其中K-1个子集作为训练集来拟合模型,剩下的一个子集作为测试集来评估模型性能。然而,在机器学习中,关于K折交叉验证方法的折数K的选择虽然很多文献中都对其进行了研究并给出了推荐,但它一直是一个公开未解决的问题[10-15]。比如文献[6]中提到当模型选择的目标是估计时,最优的折数K为5到10之间,这是因为K值越大,统计性能不会增加太多,并且小于10次分割的平均值在计算上仍然可行。……
登录APP查看全文
