基于模糊关联空间的有效大数据过滤方法
2019-10-21李玮瑶
李玮瑶



摘 要:传统的大数据过滤方法,其降噪处理和过滤效果都会对最终结果产生一定影响,导致过滤效率低下。基于此,本文提出基于模糊关联空间的有效大数据过滤方法,利用动态编译实现数据采集过滤,进行分布式离群点检测,通过网闸过滤对数据信息进行过滤。经对比试验,该方法能够实现有效大数据的高效过滤,而基于区域划分的数据过滤方法,无法充分利用试验环境中所有实体的数据信息,因此不可能实现较高的过滤效率,由此证明了本研究所提方法的实用性和有效性。
关键词:模糊关联空间;有效大数据;过滤
中图分类号:TP312 文献标识码:A 文章编号:1003-5168(2019)29-0011-03
An Effective Big Data Filtering Method Based on Fuzzy Correlation Space
LI Weiyao
(School of Computer Science, Pingdingshan University,Pingdingshan Henan 467000)
Abstract: The traditional big data filtering method, its noise reduction processing and filtering effect will have certain influence on the final result, resulting in low filtering efficiency. Based on this, this paper proposed an effective big data filtering method based on fuzzy associative space, used dynamic compilation to realize data collection and filtering, performd distributed outlier detection, and filterd data information through gatekeeper filtering. Through comparative experiments, this method can achieve efficient filtering of effective big data, and the data filtering method based on region division can not fully utilize the data information of all entities in the experimental environment, so it is impossible to achieve high filtering efficiency, which proves the practicality and effectiveness of the method proposed in this study.
Keywords: fuzzy association space;effective big data;filtering
在空间数据挖掘研究领域,空间关联规则具体指的是空间对象彼此间的空间和非空间的相互关系[1]。因為空间对象彼此间的关系一般会利用空间和非空间的定语来表示,与之相对应,挖掘空间的关联规则就必须借助两类层次进行充分表达,即概念层次与空间关系层次[2]。其中,空间关系层次主要包括空间拓扑构造、空间方位层次以及空间度量关系层次[3]。这些层次的类别构造并不具备硬性标准,这就需要适当引进模糊隶属度来对边界进行软化,产生模糊概念层次以及模糊空间关系层次,在这个基础上所研究的空间关联规则就是人们常说的模糊空间关联规则(FSA Rs)[4]。本文以有效大数据信息为关键,对其处理和过滤方法进行了研究,希望可以在某些方面给予研究人员一定启发。……
