沈洁+彭敦陆

摘要：随着信息化的深入发展，各应用领域积累了大量采用半结构化方式记录的文本数据。为了快速有效地从大规模面向领域的半结构化文本中抽取有用信息，信息抽取技术应运而生。文本信息抽取的核心算法之一是计算词或短语的相似度，针对面向领域的半结构化文本中的中文短语相似度计算，先采用模式匹配算法从原始半结构化文本中抽取中文短语，然后结合领域语义依存关系，对基于公共子串的短语相似度计算方法进行改进，以此提高短语相似度计算的可靠性。实验结果表明，所提算法具有较好的计算效果。关键词：领域半结构化文本；公共子串；依存关系（DOI）DOI：10.11907/rjdk.162708中图分类号：TP301文献标识码：A（文章编号）文章编号：16727800（2017）0040006030 引言 在信息爆炸的今天，各大领域都产生了大规模的半结构化文本。在医疗领域，产生了大量的电子病历文本[1]；在司法领域，产生了大量的审判案件法律文书。对领域文本进行高效地信息抽取，是实现文本数据结构化和领域数据分析的基础，而短语相似度计算又是进行正确信息抽取的前提。 通常，由于缺乏背景知识，直接从面向领域的半结构文本中抽取的短语不够准确，难以与领域知识相对应。一种可能的方法是从领域知识库中查找与抽取短语相似的短语来提高信息抽取的准确性。由此，需要高效地计算从文本中抽取出的短语与领域知识库中的短语相似度。迄今为止，短语相似度的计算已应用于诸多方面，例如文本聚类[2]、文本检索[3]和机器翻译[4]等。……