高 阳,刘其成,牟春晓

(烟台大学计算机与控制工程学院,山东 烟台 264005)

不平衡数据集是指样本集中各自类别所含样本数目的多少存在较大的差距,对于含有较多样本数的类别称之为多数类(反例)样本,反之为少数类(正例)样本[1]。在不平衡数据集中,样本数量较少的类可能包含更加关键的信息。例如医疗诊断中人类患肿瘤性疾病的事件属于少数类,但是如果将肿瘤性疾病误诊为没有病变,可能就会丧失早期治疗的机会,造成难以挽回的结果[2]。不平衡分类产生的原因是采用普通分类方法去处理不平衡数据集导致分类器的分类结果不理想[3]。例如一个数据集中有998个反例,2个正例,那么只需要选择一个将训练集数据预测为反例的学习方法即可,这样该学习方法生成的学习器就可以达到99.8%的分类精度。但这样的学习器对不平衡数据集的研究起不到任何积极的作用,因为它往往是预测不出正例的。随着大数据时代的到来,现在这种问题普遍存在于故障检测、信用卡欺诈检测、网络入侵识别以及电子邮件分类等领域,因此如何将不均衡的数据集既快速又准确的处理是当下学术研究的一个热门方向[4-7]。

通常从算法和数据2个层面解决不平衡数据集问题[8]。数据层面有2种选择,分别是增大正例样本数目的过采样以及缩减反例样本数目的欠采样。二者有一定的共同之处,都是通过改变各自类别的样本数目使数据集达到一定程度的平衡。……