朱 运，李正华，黄德朋，张 民

(苏州大学 计算机科学与技术学院，江苏 苏州 215006)

0 引言

汉语分词(Chinese word segmentation，CWS)是将输入的句子切分成词序列的过程。作为其他自然语言处理任务(如词性标注[1]、句法分析[2]、信息抽取[3]、情感分析[4]等)的基础，汉语分词的结果会直接影响上层任务的性能。

目前，基于统计的汉语分词方法在封闭领域内已经获得很高的性能[5-6]。这些模型使用的训练数据大多来源于人工标注的新闻语料，其中具有代表性的有Xue等[7]构造的宾州中文树库(Penn Chinese Treebank，CTB)以及由北京大学计算语言学研究所构造的《人民日报》语料库(People’s Daily，PD)[8]。然而，当该任务的测试数据属于微博、小说等非新闻领域时，分词性能会大幅下降。因此，汉语分词的领域移植问题一直是一个难题。

为了应对这一难题，传统的处理方法是标注一部分目标领域的数据，将其作为额外的训练语料混合到原有训练语料中。这种方法虽然有效，但是代价高昂，需要花费大量的人力、时间去标注数据。另一种广泛采用的方法是利用互联网数据来提供有益于模型的分词信息。虽然这些互联网数据可以提供的信息有限，但是来源丰富且易于获得。

本文中，我们从两个方面来提升领域移植的性能。第一，我们对测试数据进行预处理并提取稀疏特征，以此来提升神经网络模型本身的泛化能力；第二，我们采用Jiang 等[9]和Liu等[10]的做法，利用网页弱标注数据弥补模型缺少的分词信息，提升模型的新词识别能力。

我们在SIGHAN Bakeoff 2010评测数据以及ZhuXian (ZX)数据集上进行实验。……