乔伟涛，黄海燕，王 珊

华东理工大学 信息科学与工程学院，上海200237

随着互联网技术的快速发展，每时每刻有大量的信息以文本的形式产生。如何对文本信息进行分析处理是NLP（自然语言处理）研究的主要内容。其中的语义相似度计算是NLP领域中非常重要的研究方向，该技术可广泛应用于搜索引擎、问答系统中，为系统筛选出更为准确的答案，也可应用在内容去重中，例如对门户网站的标题进行语义相似度计算实现去除重复新闻。

目前，语义相似度的主流计算方法主要分为四类：第一类是传统的基于稀疏特征的统计学方法，第二类是基于语义词典的计算方法，第三类是基于向量空间模型的方法，第四类是基于深度神经网络的方法。传统的统计学的方法是利用句子中的共现词、统计词频等特征来计算相似度。张培颖[1]通过统计句子间的词语距离、结构以及长度差异等特征，通过对不同的特征赋予不同的权重来调节各个特征对于句子相似度的贡献来计算句子间的相似度。基于语义词典的方法是利用外部词汇资源来提取句子文本中的特征，例如中文语义词典HowNet 和英文语义词典的WordNet，Fernando 等人[2]基于WordNet 提取出句子相似关系矩阵相结合来计算句子之间的相似度。朱新华等人[3]在HowNet和同义词词林的相似度检测上重新设计权重计算方法取得较好的结果。在向量空间模型中，用关键词组成的集合来表示文本，关键词在文本中权值可以通过词频-逆文档概率（TF-IDF）方法计算出，将关键词的权值映射为向量中各个元素，则文本可以通过向量的形式来表示，然后再利用向量的余弦相似度来表示句子的语义相似度[4]。……