范晶晶，陈建平，傅启明1,,4+，陆 悠1,,4，吴宏杰1,,4

(1.苏州科技大学 电子与信息工程学院，江苏 苏州 215009；2.苏州科技大学 江苏省建筑智慧节能重点实验室，江苏 苏州 215009；3.苏州科技大学 苏州市移动网络技术与应用重点实验室，江苏 苏州 215009；4.苏州科技大学 苏州市虚拟现实智能交互及应用技术重点实验室，江苏 苏州 215009；5.珠海米枣智能科技有限公司 科研部，广东 珠海 519000)

0 引 言

近年来，强化学习(reinforcement learning，RL)在很多科学领域取得的成就较为显著。通常的讲，强化学习是一个智能体(Agent)与未知环境相交互，进而学习得出一种最优策略的方法[1]。强化学习可以分为3种方法，行动者方法、评论家方法、行动者-评论家方法。行动者方法通常利用策略梯度优化。评论家方法的核心为值函数逼近。而行动者-评论家方法则结合了两个方法的优点，评论家结构是值函数的近视函数，以最大化累积奖赏为目标指导行动者选取最优动作[2]。

深度强化学习(deep reinforcement learning，DRL)采用大型神经网络策略，通过值函数取代了经典的线性函数逼近器。并且深度强化学习在各类具有挑战性的问题上都有了成功的结果，例如Atari游戏、围棋问题和机器人控制任务等[3,4]。Minh等[5]提出深度Q网络(deep Q-network，DON)算法，该算法主要是结合了卷积神经网络以及强化学习，并引入经验回放技术解决了神经网络去拟合值函数导致训练结果不收敛的问题。然而DQN等算法仅在离散低维动作空间比较适用，而对于连续动作空间的问题很难适应。策略梯度是用来解决连续状态空间问题的基础，经过反复计算跟策略参数的梯度相关的策略期望的总回报，进而更新策略参数，达到策略的收敛。……