孙 晓， 李承程， 叶嘉麒， 任福继

（1.合肥工业大学 计算机与信息学院，安徽 合肥 230009；2.情感计算与先进智能机器安徽省重点实验室，安徽 合肥 230009）

基于重复字串的微博新词非监督自动抽取

孙 晓1，2， 李承程2， 叶嘉麒2， 任福继1，2

（1.合肥工业大学 计算机与信息学院，安徽 合肥 230009；2.情感计算与先进智能机器安徽省重点实验室，安徽 合肥 230009）

文章基于重复字串的统计特征，同时分析微博中存在的口语化语言特点制定相应的语言规则，采用统计和规则相结合的方法，首先对微博的语料进行分词，然后从分词碎片中提取重复出现2次及2次以上的新词，通过多层过滤，得到最终的候选新词。实验结果证明，该方法有效地保证了较高的准确率和召回率，同时保证了新词的抽取速度。

自然语言处理；中文分词；重复字串；分词碎片

中文文本的自动切分［1－2］是自然语言处理领域一项重要的基础工作。新词的识别和处理是制约中文分词系统精度进一步提高的困难之一。目前，新词抽取研究主要集中在实体名词的抽取，特别是人名、地名、机构名的抽取［3］。其他新词在构成上基本没有普遍的规律，相关的研究较少，识别率也很低。新词抽取所使用的方法主要有基于统计和基于规则的方法［4］。基于统计的方法容易实现，但受统计语料的影响非常明显；基于规则的方法准确率高，但对规则库完备性有很大的依赖性。目前的研究趋势是将这2种方法结合使用。本文采用统计和规则相结合的方法，在已完成分词标注的语料中，将重复出现的新词，包括实体名词和其他新词，从分词碎片中提取出来。……