APP下载

基于DQN的开放域多轮对话策略学习

2018-08-17宋皓宇张伟男

中文信息学报 2018年7期
关键词:深度动作策略

宋皓宇,张伟男,刘 挺

(哈尔滨工业大学 社会计算与信息检索研究中心,黑龙江 哈尔滨 150001)

0 引言

随着社会媒体的发展,微博和Twitter等社交媒体上积累了大量的短文本,这些短文本可以近似作为对话语料来训练基于深度神经网络的对话生成模型[1]。基于深度神经网络的对话生成模型能够有效对输入产生回复,展现出巨大的研究潜力[2-4]。这些模型中得到广泛应用的是seq2seq模型。seq2seq模型基于编码器—解码器结构,应用于对话生成任务时,输入通过编码器编码为一个特征向量,再由解码器根据特征向量解码得到回复。这一模型基于最大似然估计(maximum likelihood estimate,MLE)最大化回复的生成概率[5]。Shang L等将该模型应用于单轮对话生成,取得了很好的效果[6]。

实际的对话过程在大多数情况下都是多轮交互的过程,而非一问一答的单轮对话。seq2seq模型基于MLE的生成方式难以有效建模多轮对话的过程[7]。现有的关于多轮对话相关工作大多数基于填槽(slot filling)的方式进行[8-10],这类工作的目标是完成特定任务;而在开放域多轮对话最近的研究工作中,端到端的方式逐渐成为主流: 基于大量的多轮对话训练数据,通过考虑最近的对话历史信息,使得生成的回复能够照应上文信息[11-13]。

尽管相关工作强调了历史对话信息,但是考虑对话历史而得到的回复并不一定有利于对话过程的持续进行。此外,对话生成任务中以seq2seq模型为代表的端到端生成方式基于MLE,每次得到的回复都是生成概率最大的句子。这就导致了那些经常出现但是没有实际意义的万能回复,比如中文里的“哈哈哈哈”以及英文里的“I don’t know”,非常容易被选中[2-3,14]。……

登录APP查看全文

猜你喜欢

深度动作策略
例谈未知角三角函数值的求解策略
我说你做讲策略
深度观察
深度观察
深度观察
动作描写要具体
高中数学复习的具体策略
动作描写不可少
非同一般的吃饭动作
Passage Four