赵婷婷，宋亚静，李贵喜，王 嫄，陈亚瑞，任德华

(天津科技大学人工智能学院，天津300457)

深度强化学习(deep reinforcement learning，DRL)集成了深度学习对复杂环境的感知能力，以及强化学习对复杂场景的决策能力，实现了端到端的学习模式[1]．深度强化学习的出现使得强化学习技术真正走向实用，解决现实场景中的复杂问题[2]，在无人驾驶[3-4]、智能交通系统[5]、机器人系统[6-7]、游戏[8]等领域取得了突破性进展，被认为是最有希望实现通用人工智能目标的研究领域之一．目前，更多的研究者开始把深度强化学习应用在各种不同领域，例如视觉导航[9]、细粒度图像分类[10]、商业游戏[11]、金融决策等[12]．在自然语言处理(natural language processing，NLP)的文本生成领域中，有不少研究者尝试使用深度强化学习改进现有的网络模型结构或者网络训练流程，并取得了显著性成果[13]．

文本自动生成是自然语言处理领域的一个重要研究方向，实现文本自动生成也是人工智能走向成熟的一个重要标志[14]．文本生成问题是以文本、图像、数据等作为输入，通过计算机处理输出文本的过程．文本生成技术作为各种生成任务的关键模块被广泛采用，包括机器翻译[15]、摘要总结[16-17]、图像字幕[18-19]、风格转换[20]等，文本生成模式根据各自应用场景而不同．本文关注的是以已有文本为输入，输出相似类型文本的创作型文本生成任务．

自然语言生成问题通常是基于高维且稀疏的特征利用机器学习方法训练浅层模型[21]．随着神经网络及其变体在诸多任……