基于局部离群点检测的高频数据共现聚类算法
2021-11-17周志洪夏正敏陈秀真
计算机仿真 2021年3期
关键词:检测
周志洪,马 进,夏正敏,陈秀真
(1.上海交通大学网络安全技术研究院,上海 200240;2.上海市信息安全综合管理技术研究重点实验室,上海 200240)
1 引言
高频数据就是大数据的简化形式。在高频数据集内存在大量杂乱无章的信息,也存在一些具有规律的信息,准确存储与分析这些高频数据可促进经济发展[1-3]。
离群点检测属于数据挖掘的主要方法,离群点检测负责分析目标数据集,主要找到数据集内异常数据或具有特征的数据信息[4]。叶福兰研究基于离群点检测的不确定数据流聚类算法,提升聚类算法的伸缩性[5];赵建龙等研究一种基于仿射传播的增强型流聚类算法,提升聚类效率[6]。
通过对高频数据研究发现,当高频数据中存在相同或类似数据信息时,通常存在很多和数据信息有关的数据标签同时出现,且出现概率较高,这些数据标签即为高频数据共现。针对高频数据共现,研究基于局部离群点检测的高频数据共现聚类算法,提升高频数据聚类的执行效率与准确性。
2 基于局部离群点检测的高频数据共现聚类算法
2.1 局部离群点检测算法
2.1.1 相关定义
局部离群检测算法是利用一种模糊方式判断高频数据集中是否存在异常高频数据对象,并对其实施挖掘[7]。
定义1:对象x的k距离。在高频数据集D内的任意一个正整数k,对象x的k距离由k-distance(x)代表,对象x与对象o(o∈D)间的距离由e(x,o)代表。若k-distance(x)=e(x,o),那么需要符合的条件如下:
1)最少存在k个对象o′∈D/{x},该对象到对象x的距离e(x,o′)≤e(x,o);
2)最多存在k-1个对象o′∈D/{x},该对象到对象x的距离e(x,o′) 定义2:对象x的k-distance(x)邻域。……登录APP查看全文
