基于相关子空间的多源离群检测算法
2021-09-07赵旭俊
计算机工程与应用 2021年17期
关键词:检测
马 洋,赵旭俊
太原科技大学 计算机科学与技术学院,太原030024
离群点检测作为数据挖掘的研究方向之一,其目的是在海量数据中识别稀少、罕见的有价值的知识或对象,已广泛应用在信用卡欺诈检测、网络鲁棒性分析、入侵检测、医疗及疾病预测等领域[1]。随着科技及数据采集手段的高速发展,数据得到爆炸式的增长,针对同一个任务,往往产生既有联系又相互独立的多个数据集。当数据驻留在多个数据集中时,大多数现有算法的性能会严重下降,其原因是多数研究者采用数据融合的技术,将多个数据源获取的数据合并为一个超大数据集,相关离群检测算法运行在合并后的单个超大数据集上。这不仅导致算法的检测效率低下,而且忽略了多源数据之间的关联知识和单数据源中的关键信息。
大数据的出现促进数据源和数据量的快速增长,数据融合是从多源数据集中进行数据挖掘的一种主流技术。但是,数据融合在检测多源离群点方面存在不足,其原因有两个方面:首先,通过数据融合集成的数据集可能会丢失原始单个数据集的关键特征;其次,在现代分布式数据库和存储系统中,大多数大数据集(例如,大表)是跨多个服务器或站点实现的。利用多个大数据集的数据融合来构建一个庞大的数据集是不现实的,也是不必要的。
另外,传统的数据融合难以解决多源离群点检测问题。下面通过一个具体的实例进行说明。……
登录APP查看全文
