陈　欢　张　奇

(复旦大学计算机科学技术学院　上海 210000)



基于话题翻译模型的双语文本纠错

陈欢张奇

(复旦大学计算机科学技术学院上海 210000)

近年来，随着信息全球化的影响，社交网络文本上的多语言混合现象越来越普遍。许多中文文本中混杂着其他语言的情况已很常见。绝大多数现有的自然语言处理算法都是基于单一语言的，并不能很好地处理多语言混合的文本，因此在进行其他自然语言处理任务之前对文本进行预处理显得尤为重要。面对网络文本语义空间双语对齐语料的匮乏，提出一种基于话题翻译模型的方法，利用不同语义空间的语料计算网络文本语义空间的双语对齐概率，再结合神经网络语言模型将网络混合文本中的英文翻译成对应中文。实验在人工标注的测试语料上进行，实验结果表明，通过不同的对比试验证明文中的方法是有效的，能提升翻译正确率。

网络文本话题翻译模型神经网络语言模型

0　引　言

随着近年来网络的飞速发展，越来越多的人加入到了社交网络中。与此同时，信息的国界性变得不明显，人们可能会使用各国语言发表评论，最为常见的就是文本中混杂英文的情况。近年来国内较为活跃的社交网络就有新浪微博、微信朋友圈和人人网等，其中每天都会产生大量的文本，由于参与人群主要是年轻人，导致这些文本中包含很多非规范用语，中英文混合就是其中一个重要现象。

新浪微博是目前国内最活跃的社交媒体之一，通过对两亿余条微博的分析，我们发现有15%以上的微博包含至少一个英文单词，这些英文单词可能是单个字母，某个英文单词，拼音组合等。……