周国明

四川大学 电子信息学院 四川 成都 610000

引言

深度强化学习[1](deep reinforcement learning ,DRL)是机器学习[2]的重要分支，它是在与环境交互中寻找最优策略的一类方法。DRL中智能体的目标是获得最大奖励，环境可以提供密集的奖励信号时DRL可以工作得很好，然而在许多实际问题中，奖励是稀疏的，稀疏奖励导致智能体无法有效的学习。实际上稀疏奖励问题会导致强化学习算法迭代缓慢、难以收敛，甚至根本无法进行学习[3]。因此，如何解决稀疏奖励带来的负面影响，研究稀疏奖励环境下的强化学习算法，至关重要。本文提出了一个使用智能体相邻两个状态之间的距离来作为智能体的内在奖励以驱动智能体对环境进行探索的方

1 基于内在激励机制的算法化

1.1 内在激励机制

由此可见，奖励在强化学习中起着非常重要的作用，它指导着智能体的学习。然而，在许多实际生活场景中，奖励是稀疏的，这意味着智能体很难获得奖励，甚至需要正确执行很长序列的动作才能得到环境的反馈，导致智能体很难学到解决目标任务所需要做的动作，无法学习到给定的任务。另一方面，由于缺少奖励信号，智能体需要与环境做大量的交互，获取足够多的样本数据，这会导致算法训练的非常缓慢，甚至无法收敛。因此，本文考虑如何为智能体提供额外的奖励信号来源，称之为内在奖励[1]。

1.2 基于状态距离的内在奖励生成算法

特征提取模块中使用的是不进行参数更新的卷积神经网络。……