多重检验加权融合的短文本相似度计算方法
2021-02-05石彩霞李书琴
计算机工程 2021年2期
石彩霞,李书琴,刘 斌
(西北农林科技大学信息工程学院,陕西杨凌 712100)
0 概述
文本相似度计算是文本处理领域的关键性技术,广泛应用于自然语言处理(Natural Language Processing,NLP)的信息检索、文本分类、自动问答和文本重复性检测等多种任务中[1]。近年来,文本相似度计算在电子商务、新闻推送、推荐系统等热门领域也受到极大关注[2]。
目前,文本相似度计算方法主要分为三类,一是基于字符串的计算方法,如通过统计文本共有字词数量计算相似度的N-gram[3]和Jaccard[4]算法,二是基于语料库的计算方法,如忽略词序、句法结构等关键性要素利用词向量[5]基于词袋模型计算相似度的VSM[6]和LSA[7]等,三是基于深度学习的计算方法,如基于深度学习语义匹配模型的DSSM[8]、通过神经网络生成词向量以计算相似度的Word2vec[9]和Glove[10]等。文献[11]基于CNN并引入多注意力机制,通过关注词汇间和句子间的语义信息来计算句子相似度。文献[12]提出一种Siamese LSTM方法,其利用记忆单元使LSTM能够存储长序列信息,从而解决RNN长期依赖的问题。
现有多数文本相似度计算相关研究仅考虑单一文本特征而进行相似度计算。马慧芳等人[13]融合词项共现距离相关度和类别特征来计算短文本相似度。邓涵等人[14]从句子结构角度对句法和依存关系进行分析计算。YANG等人[15]将浅层句法结构化特征用依赖树表示并计算相似度,但该方法不能分析句子的深层语义信息。张小川等人[16]融合主题相似度因子和词语共现度因子提出基于LDA的短文本相似度计算算法,但其未考虑文本的语义、词序和主题关联性等特征。……
登录APP查看全文
