温雪岩　赵丽影　徐克生　陆光

摘 要：针对于MDSMOTE算法在生成部分新样本时没有将错分样本纳入其中的问题，将对错分样本修正的方法加入到现有的MDSMOTE算法中，提高样本的质量；对于传统FSVM在对不平衡数据集分类时，不能解决超平面偏向少数类的问题，将正负惩罚系数、模糊因子加入到FSVM中，提高不平衡数据的识别率。将改进的算法用于京东网购评语数据集分类中，该算法的分类性能较其他算法平均提升了9.13%，表明了该方法的可行性和有效性，具有实际应用价值。

关键词：不均衡数据集；支持向量机；SMOTE算法；文本分类

DOI：10.15938/j.jhust.2018.04.016

中图分类号： TP311

文献标志码： A

文章编号： 1007-2683（2018）04-0087-08

Abstract：On the network shopping evaluation data sets appear the phenomenon of extreme imbalance， in order to improve the classification accuracy of the unbalanced data set， It should be improved from both the sample and the algorithm For one of the problem in MDSMOTE algorithm that when generating part of the new samples， wrong points sample can′t be contained， the correct classification of the wrongly classified sample is added to the existing MDSMOTE algorithm to improve the quality of the samples. For that we can′t solve the problem of the hyper plane bias of the minority class in traditional FSVM on imbalanced data sets classification， positive and negative penalty coefficient and fuzzy factor are added the FSVM to improve the recognition rate of unbalanced data. The improved algorithm is used in the classification of JingDong online shopping commentary data set. The fmeasure value of this algorithm is increased by 9.13% on average， which indicates the feasibility and effectiveness of this method.

Keywords：imbalanced data sets； support vector machines； SMOTE algorithm； text categorization

0 引 言

网络平台上的店铺都会将顾客的评语罗列出来，供给潜在的购买客户进行参考[1-2]。但对于产品的评语，尤其是那些主流的、受大家亲睐的产品，往往会呈现出非常极端的现象，即好评数远超过其他类型的评语。而生产商，销售商和潜在的购买者更关注的是那些负面的评语。通过分析这些负面评语，生产商需要找出商品的潜在的问题或缺陷去改进，销售商可以根据用户诟病最频繁的地方进行修缮，而潜在的购买者可以通过分析负面的评语进而做出自己的选择。大量“滥竽充数”“弄虚作假”的累积评论，致使整个评语数据集呈现出极度不均衡的现象。

在机器学习过程中，一般将数据集中关于类别分布的不均衡问题称为数据集的不均衡问题（class imbalance problem of data set， CIPD），体现在样本的数量差异较大。由于目前标准的机器学习算法均是基于数据平衡的理论，导致这些机器学习算法对于不平衡数据的学习存在不同程度的缺陷[3-5]。……