基于余切相似度和BP神经网络的相似度快速计算
2021-02-27关柳恩王巧玲
同济大学学报(自然科学版) 2021年1期
关键词:差异
乔 非,关柳恩,王巧玲
(同济大学电子与信息工程学院,上海201804)
随着云计算等信息技术的发展,大数据日益渗透于金融、医疗、工业等各个行业领域之中,成为重要的生产因素。因此,对海量数据的挖掘和应用具有十分重要的现实意义,然而在实际生产过程中,大数据往往伴随着数据质量问题。相似度度量作为数据质量评估的重要方面,能够挖掘数据集中各数据间的相似程度,为数据分析提供准确和有效的依据。传统相似性度量方法分为基于距离度量方法和基于相似系数度量方法,基于距离度量方法主要有欧氏距离、曼哈顿距离、切比雪夫距离和马氏距离等,而基于相似系数度量方法主要有余弦相似度、皮尔森相关系数、杰卡德相似系数等。其中,欧氏距离和余弦相似度的应用尤为普遍。相比于欧氏距离利用数据点的距离作为度量的依据,余弦相似度更关注向量之间的夹角,分析数据在方向上的差异。作为经典相似性度量方法,余弦相似度常用于文本处理[1]、特征选择[2]、视觉任务[3]、实例检索[4]等领域。只关注方向的特性使得余弦相似度对噪声的敏感度较低。文献[3]提出一种局部加权余弦相似度来衡量目标模板和候选模板的相似度,有效抑制脉冲噪声导致的负面影响。文献[5]在直流线路短路故障中通过余弦相似度来检测故障端子极性现象,无需考虑幅值问题,从而有良好的抗噪性能。
尽管余弦相似度在多个应用中表现出良好的效果,但由于对绝对数值不敏感,余弦相似度无法识别方向相同但模长相异的数据向量的差异,在需要度量模长的场景中准确性较差。……
登录APP查看全文
