吕学强，仵永栩,，周 强，刘 殷,

(1. 北京信息科技大学 网络文化与数字传播北京市重点实验室，北京 100101；2. 清华信息科学与技术国家实验室(筹)，清华大学信息技术研究院语音与语言技术中心， 北京 100084)

异源语料融合研究

吕学强1，仵永栩1,2，周 强2，刘 殷1,2

(1. 北京信息科技大学 网络文化与数字传播北京市重点实验室，北京 100101；
2. 清华信息科学与技术国家实验室(筹)，清华大学信息技术研究院语音与语言技术中心， 北京 100084)

语料资源与自然语言处理领域的各项研究息息相关，具有很大的应用价值。由于不同的研究机构对于语料标注的规则和标记的类型不尽相同，使得不同的语料库很难组合为一个更大的语料库来进行使用。针对该问题，该文从不同标注库及词类映射层面考虑，对其产生的词性歧义问题进行了研究，提出了一种将异源语料融合到一种体系下的方法，对词类信息进行映射和消歧，并进行了实验验证，融合后的词性信息准确率可达87%，实验结果表明该方法具有一定的有效性和可扩展性。

语料建设；语料融合；词类映射；词性消歧；

1 引言

自然语言处理领域的分析技术可以分为两个方面，一个是浅层分析，如词法分析；另一个是深层分析，如句法分析。目前针对词法分析的语料库已有很多高质量的、大规模的语料库存在，在基于语料库语言学的研究方面，已发挥了比较好的效用。而针对一个汉语句子进行深层次的、全局的分析与处理的语料库还很少，且标准不统一、规模不大，这也制约了句法分析研究应用的发展。……