孔 乐，赵婷婷

(天津科技大学人工智能学院，天津 300457)

深度强化学习(deep reinforcement learning，DRL)[1]是一种以试错机制与环境交互并最大化累积回报获得最优策略的机器学习范式.为得到最优策略，DRL 要求智能体能够对周围环境有所认知、理解并根据任务要求做出符合环境情境的决策动作.目前，DRL 已在智能对话系统[2]、无人驾驶车[3-4]、存储系统[5]、智能电网[6]、智能交通系统[7]、机器人系统[8]、航空航天系统[9]、游戏[10]及数字艺术智能系统[11]等领域取得突破性进展.

根据学习过程中环境模型是否可用，强化学习可分为模型化强化学习[12](model-based reinforcement learning，Mb-RL)和模型强化学习[12](model free reinforcement learning，Mf-RL).环境模型即系统动力学模型，是对状态转移函数的描述.Mf-RL 方法中，环境模型是未知的，智能体必须与真实环境进行大量交互获得足够多的训练样本才能保证智能体的决策性能.因此，Mf-RL 方法样本利用率较低，如RainbowDQN 算法至少需要1 800 万帧的训练样本或大约83 h 的训练时间才能学会玩游戏，而人类掌握游戏所用时间远远少于此算法[13].尽管Mf-RL 方法在诸如游戏等虚拟决策任务中取得了良好的性能，但对于真实环境中的决策任务，收集充分的训练样本不仅需要大量时间与财力，样本收集过程还对系统硬件配置提出了较高要求，甚至存在损坏智能系统的风险.另外，训练样本不足会导致智能体无法从少量训练样本中提取有用信息进行准确策略更新.相比之下，Mb-RL 方法在对环境精准建模后，智能体无需与真实环境互动就可以进行策略学习，可直接……