面向问题意图识别的深度主动学习方法
2021-05-27付煜文马志柔薄满辉
中文信息学报 2021年4期
付煜文,马志柔,刘 杰,白 琳,薄满辉,叶 丹
(1.中国科学院 软件研究所,北京 100190;2.中航信移动科技有限公司,北京 100029)
0 引言
近些年移动互联网迅速发展,各种终端产品的用户量和服务量激增,企业的客服中心每天需要回复大量的问题。与此同时,随着人工智能技术日益成熟,自动问答技术开始应用于各种领域,代替传统的人工为客户的咨询提供快速、准确的问答服务,帮助企业节省人力成本,提高服务效率。而精准地识别用户提问的意图是自动问答的前提,对问答服务的实现至关重要。
意图识别旨在确定一句话的意图,可以认定为分类问题,即事先定义好当前问答领域中各种可能的意图类别,再通过分类方法将问题分到某一类中。文本分类是自然语言处理的重要任务,当前深度学习模型在文本分类任务中取得了巨大进展[1],并取得了远超传统方法(如朴素贝叶斯、支持向量机等)的性能。同时深度学习方法避免了繁重的特征工程,其端到端的学习也避免了自然语言处理工具带来的错误传播问题[2]。
但是,深度学习模型要取得良好性能需要有大量的训练数据支撑。在问答业务场景中,未标注的语料通常很丰富,而已经标注好的语料很难直接获得,只能通过耗时且昂贵的人工标注获得。为了使深度学习更好地发挥作用,减少其训练数据的标注成本至关重要。
主动学习提供了一种辅助标注语料方法,可通过更少的训练语料达到更高的精度[3]。……
登录APP查看全文
