成于思，施云涛

(1.东南大学 土木工程学院，江苏 南京 210096；2.中国移动通信集团 南京分公司网络部，江苏 南京 210019)

0 引言

中文分词是从信息处理需要出发，按照特定的规范，对汉语按分词单位进行划分的过程[1]。中文分词是其他中文信息处理应用的基础，其结果直接影响机器翻译、信息检索、信息抽取等信息处理技术的正确率[2]。近年来，中文分词技术发展迅速，但由于自然语言使用复杂，中文分词依然是信息处理的难点之一。

目前主要的分词方法可以分为两类： 基于词典匹配的方法和基于统计的方法。基于词典匹配的分词对未登录词的识别和切分歧义等问题无法很好地解决[3]。基于统计的分词方法常用的模型有隐马尔可夫模型[4](HMM)、条件随机场模型[3，5](CRF)、深度神经网络模型[6-9]等。与CRF模型相比，基于深度神经网络模型的分词方法在保证分词性能的基础上，无须设计特征模板，受到研究者的关注。

尽管基于统计的分词方法在分词性能方面有较大的提高，但是，当测试语料和训练语料领域不一致时，分词性能会大幅降低[2，10]。这意味着，对不同专业领域文本做分词时，需要提供相应领域的分词训练语料。同时，为了确保分词正确率，训练语料的规模一般较大，例如，SIGHAN CWS BACKOFF 2005提供的PKU训练语料包括19 056条句子。为每个专业领域标注大量分词训练语料，需要消耗大量人力。为了提高分词方法的领域自适应性，张梅山等[10]将领域词典信息以特征的方式融入CRF模型中，Zhang等[7]在深度神经网络中加入领域词典的相关特征，朱艳辉等[3]用领域词典对分词结果做进一步逆向最大匹配。……