基于优化SMOTE 算法的非平衡大数据集分类研究
2021-08-06唐思均
沈阳工程学院学报(自然科学版) 2021年3期
关键词:分类
唐思均
(宜宾职业技术学院 电子信息与人工智能学院,四川 宜宾 644000)
随着信息产业、互联网技术及计算机科学技术的发展和进步,人类已经迈入大数据时代。在以大数据为主要驱动力的社会经济发展模式下,除数据总量之外,数据结构也是影响数据认知和数据应用的重要因素之一[1-2]。当前,伴随着大数据总量的井喷,大数据集不平衡问题日益凸显出来[3-4]。在不平衡大数据集中,某个特定的单一类别数据类型占据绝对统治地位,这导致总体数据类别与结构分布的不平衡[5],少数类别数据更不容易被识别和利用,进而降低了大数据集整体分类的精度及应用的可靠性[6]。数据集的非均衡性主要表现为大数据集中存在的数据类别不均衡、各类样本在数据集中的分布不均衡及个别样本数据的交叉与重叠[7-8]。在海量数据规模条件下,少数类别数据中通常也包含着大量关键信息,例如,在医学研究领域中,少数患者的病例样本对于核心医疗技术的突破具有重要的意义;在网络安全防范中,对于个别恶意代码的检测与识别,是互联网入侵检测防范的关键。
鉴于大数据集在总量和结构上的特点,利用机器学习的方法[9]和人工智能方法[10],进行大数据分类是必然的选择。近年来,以人工神经网络方法、朴素贝叶斯方法、遗传算法、粒子群算法和智能SVM 算法等为代表的机器学习方法,在大数据分类中得到了广泛的应用,也获得了良好的效果。但……
登录APP查看全文