改进Smote算法在不平衡数据集上的分类研究
2018-03-29吴林海
计算机与现代化 2018年3期
关键词:分类
易 未,毛 力,孙 俊,吴林海
(1.江南大学物联网工程学院,江苏 无锡 214122; 2.江南大学商学院,江苏 无锡 214122;3.江南大学食品安全风险治理研究院,江苏 无锡 214122)
0 引 言
近年来,不平衡学习问题吸引了大量学术界和工业界的兴趣[1]。不平衡学习的根本问题是不平衡数据显著地降低标准学习算法的结果。大多数标准学习算法假设均衡类分布或具有相等的误判成本。因此,当面对复杂的不平衡数据集时,这些算法不能正确地反映数据的分布特征,从而使得结果精度不能令人满意。希望不同类别样本的数量是相等的,但是实际上在某些情况下不同类别样本数量通常是极端不平衡的,一类严重代表了另外一个类[2-4]。不平衡学习困难有2种解决方法,一是从算法上考虑,例如代价敏感[5]和集成学习方法[6];二是对不平衡样本进行抽样然后再使用常用的机器学习算法。抽样有欠抽样(从多数类中抽取样本)[7-8]与过抽样(合成少数类样本)这2种方法。不平衡随机过采样算法随机复制少数集样本,最终使少数集样本数量与多数集样本数量相同,而Smote算法的基本思想是通过少数类样本的k个最近邻样本,合成新的样本再添加到数据集中,最终使少数样本与多数样本数量相同[9]。但是,Smote算法的主要缺点有:1)负类集合中的噪声负类样本参与新样本的合成,使得产生的新样本质量较差;2)没有对少数类样本进行区别性的选择,而是同等对待所有的少数类样本;3)生成新样本时,负类样本的k近邻可能是正类样本,这容易产生正负类边界模糊问题;……
登录APP查看全文
