赵淑芳， 董小雨

(太原科技大学 计算机科学与技术学院，山西 太原 030024)

0 引言

N-Gram语言模型是一种简单有效的统计语言模型，因其简单、易用、高效，在实际应用中一直发挥重要作用.N-Gram语言模型将词看作离散的符号，容易出现数据稀疏问题.随着N-Gram语言模型阶数的增长，需要估计的参数量会急剧增加并存在数据稀疏问题，无法有效利用长距离的上下文信息，且无法捕捉词与词之间的相似性[1].

基于神经网络语言模型的连续空间建模方法首先基于分布式假设条件，通过投影矩阵将离散的词映射到连续空间，形成相应的词矢量(word embedding)特征，以此为基础，将分布式的上下文矢量信息输入到神经网络，并在输出层预测下一个词出现的概率[2-3].

递归神经网络语言模型输入层不仅包含了当前输入，而且加入了当前词的全历史词信息.递归神经网络语言模型理论上可以考虑无限个历史词信息，但是随着不断引入新词，存在记忆衰退严重问题，针对这一问题，有学者提出了基于LSTM结构的神经网络语言模型.LSTM-DNN语言模型在隐藏层引入了LSTM结构单元[4-5]，这种结构单元包含将信息储存较久的存储单元，这个记忆单元被一些特殊的门限保护[6-7]，可以选择性地记忆网络误差回传参数，对历史信息有良好的记忆功能.

由于LSTM中当前CEC的状态不能影响到输出门的最后输出信息，所以笔者增加从当前CEC到输出门的连接更好地控制每一内存单元输出多少信息，将遗忘门和输……