衣景龙，赵铁军

（1 哈尔滨工业大学 计算机科学与技术学院，哈尔滨 150001；2 哈尔滨工业大学 机器智能与翻译实验室，哈尔滨 150001）

0 引言

近年来，深度学习方法被广泛应用于计算机视觉以及人机对话等人工智能的多个领域［1］，并极大地推动了这些领域的发展。但目前的深度学习方法都需要大量的标注训练数据，而在工业界应用的过程中，很难获得大规模标注好的数据。以任务型对话系统为例，在系统研发时很难获得大量的用户对话语料，若获取了大量的对话数据，也面临着人工标注成本高昂的窘境。同时，像任务型对话系统等类似的线上应用如百度的小度［2］，用户的需求往往变化比较频繁，会导致数据标注和模型训练反复进行。因此，小样本场景下对自然语言理解技术的研究，成为本课题的重中之重。在目前的人机对话系统研究中，意图识别和槽填充任务的效果往往是影响人机对话系统性能的关键。小样本场景下的意图识别和槽填充任务面临着许多挑战：由于样本量不足，模型往往难以学到足够的语言知识；现有的基于原型向量的小样本下的分类方法，往往会损失信息。另外，还涉及到意图识别和槽识别任务如何结合等问题。

目前，小样本场景中的自然语言理解方法已经取得了不错的进展，文献［3］中提出了基于原型向量计算的非参学习的阈值调整方法用于小样本下的多意图分类，取得了较好的实验效果。阿里巴巴团队提出基于BERT 的预训练联合识别模型［4］，用BERT 动态表征词的多义性，解决一词多义的问题，在ATIS 数据集上意图识别的准确率达到了97.5%，槽填充的F1 值达到了96.1%的结果。……