陈俊月,郝文宁,张紫萱,唐新德,康睿智,莫 斐

(陆军工程大学 指挥信息系统学院,南京 210000)

0 概述

随着计算机技术的飞速发展和互联网的全面普及,全球数字化信息的存储量爆发式增长。丰富的信息资源既为人们的生活和生产带来了便利,但同时也导致了信息重复冗余的问题。因此,文本语义相似度研究应运而生,其可作为承载语义信息的一种重要方式[1]。文本语义相似度计算具有广阔的实际应用背景,例如论文查重、搜索引擎去重等,受到研究者的广泛关注[2-4]。

释义识别[5-6]用于判断任意两个句子或短语其语义是否相同,可看作是文本语义相似度计算的子任务。目前针对句子级别的文本语义相似度即句子相似度有许多较为成熟的计算方法,例如编辑距离(Levenshtein Distance,LD)算法[7]、Jaccard系数[8]和词频-逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)算法等,但是这些方法都有着明显的不容忽视的局限性和缺点:编辑距离算法仅考虑两个句子相互转换的操作次数,忽视了操作本身引起的语义差异;基于句子间共现词计算句子相似度的Jaccard系数只考虑句子的字面量,忽视了词语的语义信息[9];TF-IDF算法需要一个大规模语料支撑统计运算[6],而对于某些领域(如军事领域),这样的大规模语料是难以获得的。近年来,随着深度学习技术的兴起,许多基于深度学习的文本相似度算法也随之涌现。但这些算法往往需要大量的语料作为支撑,同时由于深度神经网络本身的特点,因此其对计算时间和计算资源的要求都很高,而深度学习本身的黑箱性质也导致模型难以解释。……