胡光敏，姜 黎

（湘潭大学物理与光电工程学院，湖南湘潭 411100）

0 引言

口语理解技术（Natural Language Understanding，NLU）是任务型对话系统的重要组件，旨在构建一个语义框架模型检测用户意图，以及对用户的输入进行语义成分分析。如表1 所示，给定一个与电影相关的话语“watch suspense movie ”作为输入，话语中的每个单词都有不同槽值，并且具有一个针对整个话语的特定意图。

槽填充通常可视为序列标注任务，输入序列为x=(x1,x2,…,xT)，则输出对应槽标签序列常用的槽填充方法包括CNN［1］、LSTM［2］、attention-based CNN［3］。意图可视为一个文本分类任务，输入序列为x则输出对应的意图标签yi。常用的意图分类方法包括CNN［4］、deep LSTM［5］、encoder-labeler deep LSTM［6］。

Table 1 An example of user query and semantic framework表1 用户查询及语义框架示例

由于槽值往往与意图类别关系紧密，因此提出了槽填充与意图识别共同建模的方法［7］。Xu 等［8］采用triangular-CRF 和CNN 共同建模，将意图识别与槽填充任务进行联合训练。但在实际应用中，人们通常更关注于槽和意图联合准确率，于是Hakkani-Tur 等［9］将槽和意图联合准确率加入模型进行联合训练。与此同时，注意力机制的提出有效增强了文本上下文向量之间的关联［10］。注意力机制是按照序列结构，利用模型提供的精确焦点，从序列中学习每一个元素的重要程度。Liu 等［11］提出基于注意力机制的RNN模型，该方法仅通过损失函数将意图与槽进行关联，但不能有效将两者信息进行融合，于是Goo 等［12］提出Slot-Gat⁃ed 模型，Slot-Gated 模型可利用上下文注意力机制显式地建模槽值与意图的关系。同时为解决数据稀疏性问题，提出采用自监督训练的通用语言表示模型，例如ELMO［13］和BERT［14］。……