基于网格划分的高维大数据集离群点检测算法研究
2018-02-07赵伯鑫
中小企业管理与科技 2018年7期
关键词:检测
赵伯鑫
(河北软件职业技术学院,河北保定071000)
1 引言
由于基于统计分析、密度以及偏差等所实施的离群点检测方式,都存在着一定的不足,像对于用户预先设置参数过于依赖或者检测精准度不高等,需要进行改进,对该种检测算法发展与推广形成了直接阻碍。在此种背景下,大数据和高维空间集中离群点检测为离群点检测开辟出了新的发展方向,对高维空间特性以及高维空间大数据集离群点高效检测等内容研究,已经成为业界学者关注的主要课题,对于离群点检测发展有着较为突出的现实意义。
2 网格划分方式
网格单元划分是此种离群点检测算法展开的关键,通常相关人员会按照高维空间维度,实施等距离单元格划分。此种方式虽然具有一定优势,但也有着不可忽视的问题:第一,此种方式划分所得到的网格单元数量,由于和数据集维度存在着指数级相关的联系,所以其与高维大数据集空间划分需求存在着一定出入;第二,因为维度距离数值是有关人员事先进行设定的,且其与检测算法开展有着直接关联,所以如果数值发生相应变化,很有可能就会对最终检测计算结果产生不良影响[1]。其中,若距离数值设置过大,则可能会出现非边界网格单元被忽略或被删除的情况,会使离群点出现丢失的状况;而如果数值设置过小,则会直接网格单元计算量,且可能会造成聚类点无法被完全检测的情况。因此有学者提出,在不同维中实施不同间隔的划分方式,此种方式会按照空间维实际情况,合理进行间隔距离设置,可以有效解决等距离划分所存在的各项问题,能够有效提高算法落实效率,是目前较为认可的一种网格划分方式。……
登录APP查看全文
