APP下载

基于单词分类的归一化神经网络语言模型研究

2017-01-11陈铬亮徐佳

福建工程学院学报 2016年4期

陈铬亮, 徐佳

(1.清华大学 交叉信息研究院,北京 100084; 2.中国科学院计算技术研究所,北京 100190)



基于单词分类的归一化神经网络语言模型研究

陈铬亮1, 徐佳2

(1.清华大学 交叉信息研究院,北京 100084; 2.中国科学院计算技术研究所,北京 100190)

摘要:提出了一种基于单词分类的神经网络语言模型,以解决归一化问题。实验方法为,在基础翻译系统中加入模型参数,然后利用开发集调整参数,再对测试集进行翻译,对比加入模型参数前后的翻译质量以及训练模型和翻译过程所需时间。实验结果表明,在保证归一化的前提下,该模型的性能优于Vaswani等人的模型,且翻译质量与Vaswani等人的模型相当。

关键词:机器翻译; 语言模型; 单词分类

自然语言处理是人工智能研究的一个重要领域,该领域的研究目的是让计算机能够理解并自动处理人类的自然语言。语言模型是自然语言处理研究中的一个重要模型,它的作用是衡量一段语料的通顺程度。当前,语言模型被广泛运用于自然语言处理的各个方面,如语音识别,机器翻译,输入法和自动拼写纠错。

上世纪50年代,Shannon提出了n元文法模型[1]。该模型用一段词语序列出现的概率来衡量这段文字的通顺程度。进一步,该模型假定词语序列是一个时齐马氏链,出于实际应用的需要,假定每一个词在给定它之前至多n-1个词(称为该词的历史)的前提下与其他词无关。虽然距今已经六十多年,但n元文法模型依旧是最经典的语言模型。

传统的n元文法模型利用n元组的相对频率来估计每个词给定其历史的条件概率。……

登录APP查看全文