张开放，苏华友，窦 勇

(国防科技大学计算机学院， 湖南 长沙 410073)

1 引言

在机器学习领域，多分类任务[1 - 3]是指将样本实例分为3个及以上类别之一的问题(将样本实例分类为2个类别之一称为二分类)。由于分类算法和模型的局限性，对分类器的分类结果进行准确性评估是一个必须面对的问题[4,5]。另一方面，由于分类器过拟合现象的存在，恰当地选择准确率评价指标显得十分重要。现有的一些评价指标，诸如准确率[3]、Kappa系数[6]和F1值[3]等，都是基于混淆矩阵对总体分类效果进行的评估。它们很难给出单个类别的分类效果，这在某些实际应用中是不足以满足用户需求的(例如在MNIST(Mixed National Institute of Standards and Technology database)手写字符体识别任务中，数字0出现的概率和重要性往往会比其他数字大和高)。

本文将该方法引入多分类任务模型评估场景。该方法最初运用于地震预测领域[7]，后被引入遥感图像目标识别效果评估领域[8,9]，用于评估识别的效率。本文针对机器学习领域的多分类任务，对该方法进行拓展和迁移应用，并给出了理论推导过程。基于MNIST手写字符体识别和CIFAR-10(Canadian Institute For Advanced Research, 10 classes)数据集的多分类任务实验结果表明，与已有模型准确率评估方法相比，上述方法可以较好地评估模型分类准确率。值得一提的是，同样是基于混淆矩阵进行推理，该方法计算简单，并且可以同时给出分类器整体以及每一个类别的分类效果，对于评估和改进训练过程具有一定的指导意义，同时在特定的任务背景下应用前景广阔。……