陈风驾

(上海微创软件股份有限公司，上海200241)

为了解决英语口语练习问题，通过构建一个语音对话系统应用让学习者可以使用英语沟通。

语音对话系统通常由语音识别、对话管理和语音生成组成，在语音识别和语音生成上神经网络模型表现已经比传统机器学习模型优秀，因此本系统基于神经网络模型来构建语音对话系统，在特定语音对话环境中能满足用户需求，实现锻炼英语口语的目的。本文将对系统实现的关键技术给出描述。

1 系统关键技术理论

本文使用tensorflow2 开源库来训练语音识别和语音合成模型，tensorflow 2 支持多种神经网络模型的训练，例如卷积神经网络、循环神经网络和深度神经网络等。

1.1 循环神经网络

循环神经网络是一种特殊的神经网络结构，其通将上一时刻状态传入到当前时刻的运算中去，但是由于收敛函数，通常是梯度下降算法存在着梯度消失或者爆炸问题文献导致模型失真。Hochreater 和Schmidhuber[1-2]在1997 年提出了一种新的网络结构来解决梯度消失或者爆炸的问题，叫做长短时记忆神经网络即LSTM。

LSTM 网络通过添加了3 个控制门：遗忘门、输入门和输出门，将上一时刻的输出通过更加复杂的函数来和逻辑处，LSTM模型基本结构如图1 所示。

图1 LSTM 模型结构

公式（1）中ft叫做遗忘门，表示ct-1的哪些特征因子被用于计算ct。遗忘门是最重要的门，其决定了哪些特征因子会被记忆并传递到后序时刻，哪些因子应该被丢弃不应该影响后序时刻的状态。

根据公式（5）可以计算出输出门向量，而公式（6）就会得到最后的输出结果，同时该输出ht也会作为隐含节点最为输入迭代到下一时刻的计算中。……