杨　柳，王　钰1.山西财经大学 应用数学学院，太原 030006.山西大学 软件学院，太原 030006

组块3×2交叉验证的F1度量的方差分析*

杨柳1+，王钰2
1.山西财经大学 应用数学学院，太原 030006
2.山西大学 软件学院，太原 030006

YANG Liu,WANG Yu.Analysis of variance of F1 measure based on blocked 3×2 cross validation.Journal of Frontiers of Computer Science and Technology,2016,10(8)：1176-1183.

摘要：在统计机器学习的研究中，研究者常常通过定量实验来对照基于交叉验证的分类算法的F1度量，为了得到统计可信的结论，估计它的不确定性是非常重要的。特别地，组块3×2交叉验证方法被大量理论和实验验证了它的性能优于诸如标准K折交叉验证的其他常用交叉验证方法。为此，理论上研究了基于组块3×2交叉验证的F1度量的方差。方差的结构表明它由块方差、块内协方差和块间协方差三部分组成，从而说明了广泛使用的样本方差估计可能严重地低估或高估真实的方差。通过条形图方法在模拟和真实数据上进行实验，验证了上述理论结果，实验结果表明块内、块间协方差和块方差是同阶的，块内和块间相关性是不可忽略的。

关键词：F1度量；交叉验证；方差；分类算法；模拟实验

1　引言

在诸如自然语言处理的统计机器学习应用中，F1度量是分类算法性能度量的最常用指标之一。在一篇典型的统计学习文章中，新提出的算法相对于以前已经存在的算法F1值上有些许的提高，就被作者声称他们的方法优于其他方法，但这些许的提高极有可能是由随机误差导致的。因此，为了得到统计可信的结论，需要借助于统计显著性检验（置信区间）来判定它显著与否。……