张 晶 王子铭 任永功

（辽宁师范大学计算机与人工智能学院 辽宁 大连 116081）

强化学习（reinforcement learning，RL）作为人工智能的重要研究方向，在路径规划[1]、生产自动化[2]、辅助驾驶[3]等领域被广泛应用.不同于经典监督或无监督机器学习模型，强化学习构建智能体与未知环境逐步交互获取时序相关状态数据，并根据当前时刻状态选择动作，求解不同目标下最优化行为策略及最大累积反馈，使智能体通过对环境连续自由探索强化自主学习能力[4-6].

经典强化学习方法基于动态规划理论，在已知环境模型中更新智能体策略，获得最优化累积反馈.然而，该类方法在求解过程中需借助状态转移概率，为自由环境建模带来了困难.基于统计理论的蒙特卡罗思想为解决上述问题提供了有效途径，其利用大量随机采样的状态-动作时序序列统计均值作为状态值函数的无偏估计建模.同时，研究者进一步拓展、增量蒙特卡罗理论，提出时序差分（temporal difference，TD）的强化学习模型，在避免采样量过大等问题的同时实现对连续、无限环境状态空间学习.基于TD 理论的强化学习方法受到学者广泛关注，Watkins[7]提出Q 学习算法（Q-Learning），借助表格保存策略，并利用异策略的方式对动作值函数更新建模，但该方法在复杂场景中存在采样低效的问题.针对该问题，Sutton[8]提出基于模型的强化学习框架Dyna-Q 模型，通过对环境产生的仿真经验辅助策略更新.然而，其仍然无法解决智能体对高维连续图像环境的探索问题……