廖胜兰，吉建民，俞 畅，陈小平

（1.中国科学技术大学 计算机科学与技术学院，合肥 230026；2.中国科学技术大学 软件学院，合肥 230031）

0 概述

随着人工智能领域的发展，越来越多的语音助手、聊天机器人和服务机器人等融入到人类的生活中。与这些语音助手、机器人进行交流的过程称为人机交互，而人机交互的第一步就是机器人需要理解用户的语义意图。现有的人机交互对话系统主要有任务导向型对话系统和非任务导向型聊天对话系统两种。在任务型导向对话系统中，当有目的地要求机器人完成某项工作时，机器人必须先理解用户的意图。例如，手机上的语音助手需要理解用户的意图是查天气还是拨打电话，餐厅的机器人需要理解用户的意图是点餐还是结账。因此，意图识别是人机交互系统中极为重要的模块，并且作为对话系统中的意图识别模块，需要具有快速的响应能力。

意图识别也叫做意图分类，是一种特殊的文本分类。因为在任务型导向对话系统中，用户意图通常具有文本较短、目的性强等特点。意图分类从传统的模板匹配方法到统计学习方法，再到目前流行的深度学习方法，已经有大量的研究团队提出了许多经典的模型。随着自然语言处理领域深度学习模型的发展，谷歌公司（Google）在2018 年提出的BERT（Bidirectional Encoder Representations from Transformers）模型，使得大规模的预训练方法成为自然语言处理领域的主流方法［1］。

虽然BERT 模型在自然语言处理领域的各项任务上都能取得很好的效果，但是由于其模型庞大，训练需要大量数据且耗费大量资源，因此高校及中小企业的科研团队难以从头预训练BERT。……