APP下载

并行多路径传输过程数据相似性检测仿真

2021-11-17赵敏

计算机仿真 2021年9期
关键词:检测方法

赵 敏

(西安电子科技大学,陕西 西安 710071)

1 引言

计算机、互联网的高速发展使得数据传输的状态和质量成为了热点研究课题。其中,对数据传输质量影响较为严重的就是数据本身的质量[1]。数据清理是提高数据源质量的有效手段之一。在数据清理过程中,为了减少数据源内的冗余信息,相似重复的记录、检测和清理成为了关键部分。根据所记录的相似性检测结果,能够评测所传输的数据中是否含有重复记录[2-3]。为此,有相关学者提出了一些关于传输过程数据相似性检测的方法。

文献[4]中提出了一种基于MapReduce模型的大数据相似重复记录检测方法,首先提取能够转移的传输数据,并使用MapReduce模型对数据进行相似性分析,然后提取传输数据将其导入表信息内,结合模糊哈希算法对其进行相似性计算,完成对传输数据的相似性检测。但是该方法在将数据导入表信息内时,很容易受到噪声的影响,导致相似性检测结果不够精准。

文献[5]中提出了一种基于信息熵与模糊综合评判融合的相似数据检测方法,首先对比数据内每一种字段的相似度,然后对每一种字段赋予各部相同的权重,利用信息熵转换传输数据的损失函数与非极大值抑制函数,并简化网络传输架构,再将转换完成的传输数据输送至架构内进行迭代,并与与原始数据进行对比,完成传输数据的相似性检测。但是该方法需要对数据进行反复的迭代,导致检测数据召回率较高。……

登录APP查看全文

猜你喜欢

检测方法
学习方法
小波变换在PCB缺陷检测中的应用
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法
捕鱼