杨　帆，刘亮亮

(1.中国船舶重工集团公司第723研究所，江苏 扬州　225001；2.江苏科技大学 计算机科学与工程学院，江苏 镇江　212003)



基于统计的汉语叠词自动识别研究

杨帆1，刘亮亮2

(1.中国船舶重工集团公司第723研究所，江苏 扬州225001；2.江苏科技大学 计算机科学与工程学院，江苏 镇江212003)

摘要：提出一种汉语叠词的自动获取方法。首先利用结构合理的五元组模型对分词后的语料进行统计以获得各类叠词候选集；在此基础上，通过叠词度的运算判断实现“AAB”式、“ABB”式、“ABA”式、“ABAB”式、“AABB”式叠词的自动获取；在叠词度判断的基础上，通过左、右邻接熵的运算判断实现“AA”式叠词的自动获取。该方法根据结构合理的五元组模型获得的统计信息，结合叠词度和信息熵的判断，实现了叠词的量化判断和自动获取。实验结果证明：该方法能有效实现汉语叠词的自动获取，且准确率高。

关键词：汉语叠词；五元组模型；叠词度；左、右邻接熵

叠词是一种特殊的语言现象。汉语叠词是由2个或2个以上的字形和字义都相同的汉字重叠在一起使用所组成的词语。在汉语文本中，由于汉语叠词的存在，在错别字识别的过程中可能会将叠词当做成插入错误。如果将所有满足叠词格式的都看成叠词的话，则很多类似叠词格式的插入错误会被过滤掉。本文首先分析叠词的种类，然后利用大规模语料统计来获取叠词。

1　叠词分类

国内对于叠词的定义基本可以分为传统派、西洋派和字典派[1]。汪维懋[2]的解释是“重言词的‘重叠’或‘重叠形式’，包括一个双音形式，这个双音形式为词或词的一部分”。……