谭晓阳，张 哲

（1.南京航空航天大学计算机科学与技术学院/人工智能学院，南京 211106；2.模式分析与机器智能工业和信息化部重点实验室，南京 211106）

强化学习作为机器学习领域的一个重要分支，是解决序贯决策问题的重要范式。该范式从一个完整的、交互式的和目标导向的智能体出发，通过感知环境变化获得反馈信号，并以此选择合适的动作与环境交互以实现既定目标。深度强化学习（Deep reinforcement learning，DRL）将深度学习技术引入到强化学习领域中，使得构建高度复杂的参数化非线性目标函数（如值函数、策略函数或转换模型）成为可能，从而极大地促进了强化学习领域的进步。从战胜人类顶尖棋手的AlphaGo［1］开始，深度强化学习快速地吸引了大量研究者的关注，并广泛地应用在自动驾驶、推荐系统、机器人控制以及智慧医疗等相关领域。

深度强化学习在某些方面取得了成功，但也存在着缺陷与不足。一个重要的方面是基于深度强化学习的方法需要大量的数据样本提供给模型进行训练。例如，利用深度强化学习模型的智能体在Atari［2］游戏环境下需要1 800 万帧的训练数据才能超过人类玩家水平。在医疗影像、机器人控制和推荐系统等现实场景中，收集到如此庞大的数据集几乎是不可能的，在另外一些场合，则存在收集数据的代价过大的问题，以上因素都限制了深度强化学习在这些领域内发挥更大的作用。

为了解决深度强化学习样本复杂度高的问题，研究者们从不同的角度出发，提出了一系列的方法和机制来提高深度强化学习的样本效率。……