APP下载

多模型加权融合的文本相似度计算

2021-11-20田红鹏

计算机工程与设计 2021年11期
关键词:语义特征文本

田红鹏,马 博,冯 健

(西安科技大学 计算机科学与技术学院,陕西 西安 710600)

0 引 言

在文本相似度计算领域中,其主要是扮演着自然语言处理的一种基础性工具的角色。目前,这种计算方式在很多领域中都能够看到其身影,比如在处理对话以及数据采集问题上均会使用[1]。Islam等[2]提出了一种基于语料库的语义相似度测量和最长序列匹配算法来测量文本的语义相似度,可以在文本表示等领域专注于计算两个句子或两个短段落之间的相似度。李晓等基于Word2Vec模型的基础上,把句子进行了简化处理,并形成向量空间中的向量运算,然后根据矩阵之间的关联度对句子语义中的相似度进行了检验和论证[3]。其所使用的设置方式,对于强化相似度结构的精准性起到了显著作用。Magooda等[4]提出了一个基于TF-IDF和语言模型相结合的方式将计算出的相似度根据新的加权总和对检索到的文档进行重新排序。有效克服了模糊理解文章的语义和上下文的问题。Kusne等[5]提出文本距离算法,将文本距离分解为词间的稀疏矩阵,基于文本向量空间距离进行求解。Tashu等[6]为了解决语义和上下文的问题,提出了使用词移距离算法的成对语义相似性评估。该方法依靠神经词嵌入来衡量词之间的相似度。Pontes等[7]证明了局部上下文对于获取句子中单词的信息和改进句子分析效果显著。其系统地分析、识别并保存了句子各部分和整个句子中的相关信息,通过局部上下文降低均方误差并增加相关性分析来改进句子相似性的预测,同时也提出了语料库的重要性。……

登录APP查看全文

猜你喜欢

语义特征文本
语言与语义
如何表达“特征”
在808DA上文本显示的改善
不忠诚的四个特征
基于doc2vec和TF-IDF的相似文本识别
“上”与“下”语义的不对称性及其认知阐释
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
认知范畴模糊与语义模糊
如何快速走进文本
线性代数的应用特征