基于近邻的不均衡数据聚类算法
2020-10-12汪玉枝高晓楠
工程科学学报 2020年9期
武 森,汪玉枝,高晓楠
北京科技大学经济管理学院,北京 100083✉通信作者,E-mail: gaoxiaonan0001@163.com
聚类分析是数据挖掘领域最为常见的技术之一,用于发现数据集中未知的对象类[1]. 聚类分析在客户细分[2]、模式识别[3]、医疗决策[4]、异常检测[5]等诸多领域有着广泛的应用前景. 传统的聚类算法能够很好地处理均衡数据的聚类问题,但是现实生活中存在许多不均衡数据,例如医疗诊断[6]、故障诊断[7]等领域的数据中表现正常的数据量要远远大于表现异常的数据量. 这类不均衡数据集的特点是同一数据集中归属于某一类别的数据对象的数量和密度与其他类别数据对象的数量和密度有较大差异,通常数据对象数量较多的类称之为大类,数据对象数量较少的类称之为小类. 对于不均衡数据的聚类问题,传统的聚类算法处理能力较弱. 以著名的 K–means算法为例,K–means算法是经典的划分式聚类算法,在处理不均衡数据集时,容易出现“均匀效应”[8],即聚类时往往会产生相对均匀尺寸的类,小类中的数据对象会“吞掉”大类中的部分数据对象,造成聚类结果中不同类的数据对象数量和密度趋于一致.
为解决不均衡数据的聚类问题,研究者从不同角度提出了多种方法,大致可以分成以下三类:(1)数据预处理[9−12];(2)多中心点[13−14];(3)优化目标函数[15−16]. 第一类方法是数据预处理,此类方法对数据集进行欠采样和过采样处理后再进行聚类,但是欠采样方法仅仅采用了属于大类中的一部分具有代表性的子集,导致大类中大量的有效信息被忽略,影响了聚类效果[17];……
登录APP查看全文
