张俊飞

（广州医科大学基础学院，广州 511436）

改进TF-IDF结合余弦定理计算中文语句相似度

张俊飞

（广州医科大学基础学院，广州 511436）

提出一种改进TF-IDF结合余弦定理计算中文语句相似度方法。首先采用IKAnalyzer分词器对中文语句分词处理，提取核心关键词，然后通过计算句子关键词词频和权重形成的TF-IDF向量组，结合余弦定理实现中文句子相似度计算。改进后的TF-IDF计算方法采用《同义词词林》词典实现对关键词及其同义词词频统计，并通过Lucene技术实现关键词权重快速计算。改进后的中文句子相似度算法不仅考虑句子中关键词的物理特征，还对关键词的语义特征进行相似度计算，提高中文句子相似度计算的准确性。

TF-IDF；余弦定理；同义词词林；Lucene

0 引言

中文语句相似度计算是自然语言处理领域重要的一个方面。在智能答疑[1]、信息检索[2]、机器翻译[3]等领域都有很好的应用。随着信息技术的发展，当前中文句子相似度的计算算法研究很多，总体来说可以分为两大类：①基于表层特征的相似度计算方法，如基于词物理特征的统计方法、字面匹配方法等；②基于语义层面的相似度计算，如语义知识、句子结构等特征的分析[4]。

余弦定理是计算句子相似度的一个很好的方法，属于基于表征相似度计算，通过对句子关键词特征值组成向量进行余弦求解，按照值的大小说明句子相似度问题。本文在吸收传统的余弦定理相似度计算算法基础上，引入了语义层面相似度计算，通过改进关键词特征值构成的向量，实现对句子相似度计算更加精准。……