李大舟，于广宝+，高 巍，孟智慧

(1.沈阳化工大学 计算机科学与技术学院，辽宁 沈阳 110142；2.中国移动集团设计院有限公司河北分公司 山西综合生产所，山西 太原 030000)

0 引 言

语言模型发展一共经历3个阶段，在第一个阶段的统计语言模型中最具特点的是N-gram模型[1]。该模型有结构简单、时间复杂度低等特点，但也有语言表达能力弱、维度灾难和模型泛化能力弱的缺点。第二个阶段是前馈神经网络语言模型，该模型能更好使词被计算机识别和利用，从而提升接受输入的长度，但该模型的训练复杂度高，需要使用特定的语料库和词表，并有一定的局限性。第三个阶段是深度神经网络，其代表是循环递归神经网络，该网络在语言模型一定的优势，但也存在一定的弊端，如梯度爆炸、梯度消失、训练速度没有前馈神经网络快、需要的硬件要求也更高。

根据之前研究的不足之处，本文提出了时序卷积神经网络，该网络的结构特点是可以保证输入序列和输出序列相同。这样就可以解决传统循环递归网络结构中的输入序列和输出序列不一致的情况。另一方面本文通过使用扩大卷积层，可以保存更多的文本信息，解决了传统卷积神经网络因输入序列过长导致文本信息的丢失，使预测的准确率的降低的问题。

1 相关研究

近年来，随着语言模型的飞速发展，国内外相继出现了很多的研究成果，关于语言模型的发展历史，先是从传统的统计型语言模型(n-gram模型)发展到神经网络语言模型(NNLM)，随后向循环神经网络语言(RNN)的方向进步，由Bengio等提出了前馈神经网络[2]语言模型，实验结果表明该模型比传统的统计型语言模型(n-gram模型)优秀。……