考虑类内不平衡的谱聚类过抽样方法
2014-04-03骆自超邱雪峰
计算机工程与应用 2014年11期
骆自超,金 隼,邱雪峰
LUO Zichao,JIN Sun,QIU Xuefeng
上海交通大学 机械与动力工程学院,上海 200000
School of Mechanical Engineering,Shanghai Jiaotong University,Shanghai 200000,China
1 引言
不平衡数据集指某些类包含的样本数远大于其他类样本数的数据集。在分类算法的现实应用中,不平衡的数据结构是一个普遍存在的问题,例如识别油井泄漏[1]、进行医学诊断[2]、检测信用卡诈骗[3]等等。研究者发现不平衡数据结构会降低分类算法的性能。
不平衡分类中,样本数较少的类叫做少数类,这类样本往往是关注的重点,需要很高的识别精度。但是标准分类器是基于数据平衡分布的假设建立的,在处理不平衡数据集中,难以得到令人满意的少数类识别率。为此,不平衡数据分类问题越来越受到学界广泛关注,并且被一些学者认为是数据挖掘领域的关键挑战之一[4]。
不平衡数据集中少数类样本往往可以再划分为几个子类,因此数据的不平衡结构可再细分为类间不平衡与类内不平衡。前者指多数集与少数集之间存在的数据样本量不平衡情况,后者则是少数类样本中各子类间样本数据量的不平衡。
当前解决不平衡分类问题的方法可以分为算法层面的方法和数据层面的方法两类:前者是通过改进标准分类算法,使分类器适应不平衡数据集下的分类;后者则是通过对数据集进行处理,减少数据不平衡程度,从而使分类器能够在平衡的数据集上进行学习,提高少数类的分类正确率。
数据层面的不平衡分类处理方法又分为欠抽样和过抽样,在过抽样方法中,基于聚类的过抽样方法[5-9]是较受学者关注的一类。……
登录APP查看全文
