基于互信息改进算法的新词发现对中文分词系统改进
2016-10-12杜丽萍李晓戈于根刘春丽刘睿
杜丽萍 李晓戈 于根 刘春丽 刘睿
基于互信息改进算法的新词发现对中文分词系统改进
杜丽萍 李晓戈†于根 刘春丽 刘睿
西安邮电大学, 西安710121; †通信作者, E-mail: lixg@xupt.edu.cn
提出一种非监督的新词识别方法。该方法利用互信息(PMI)的改进算法——PMI算法与少量基本规则相结合, 从大规模语料中自动识别2~元网络新词(为发现的新词最大长度, 可以根据需要指定)。基于257 MB的百度贴吧语料实验, 当PMI方法的参数为10时, 结果精度达到97.39%, 比PMI方法提高28.79%, 实验结果表明, 该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典, 加载到汉语词法分析系统ICTCLAS中, 基于10KB的百度贴吧语料实验, 比加载用户词典前的分词结果准确率、召回率和值分别提高7.93%, 3.73%和5.91%。实验表明, 通过进行新词发现能有效改善分词系统对网络文本的处理效果。
新词识别; 未登录词; 互信息; PMI改进算法; 中文分词
随着信息时代的发展与科学技术的进步, 大量网络新词不断涌现, 使得分词结果中存在大量的“散串”, 严重影响分词系统处理网络文本的效果, 新词识别已经成为提高分词效果的瓶颈[1]。
对于网络上出现的新词汇, 例如近日在网上热传的“APEC蓝”、“Duang”、“一带一路”、“单肾贵族”和“花样作死”等词语, 一般的识别方法是基于大规模语料库, 由机器根据某个统计量自动抽取出候选新词, 再由人工筛选出正确的新词[2]。Pecina等[3]采用55种不同的统计量进行2元词汇识别实验, 结果表明, PMI算法是最好的衡量词汇相关度的算法之一。……