Wieland Brendel、Jonas Rauber、Matthias Bethge

众所周知，强化学习（RL）是一种强大的技术，它能够解决诸如移动（locomotion）、Atari游戏、赛车游戏以及机器人操作等复杂的任务，而这些全部是通过在一个奖励函数上训练智能体以其优化行为实现的。但是，对于许多任务来说，我们很难设计一个既容易训练又能产生理想行为的奖励函数。假设我们想要一个机械手臂学习该如何将一个环放到一个钉子上，那么最自然的奖励函数为，若智能体到达所需的终端配置下将获得值1的奖励，否则为0。然而，对于这个任务所要求的动作——在钉子的顶部对齐该环，然后将其滑动到底部，在这样一个二进制奖励下进行学习是不切实际的，因为我们最初策略中的一般随机探索不太可能实现这样的目标。另一方面，我们可以试着对奖励函数的形式做些调整，以潜在地缓解这个问题，但找到一个良好的形式需要大量的专业知识和实验经验。例如，直接将环的中心与钉子底部之间的距离最小化会导致一种不成功的策略，也就是将环撞击到钉子上。对此，我们提出一种不用修改奖励函数的有效学习方法，通过在开始位置自动生成课程以进行学习。

生成课程而不是调整奖励函数

我们希望训练一个智能体，使其能够从任何起始位置到达目标，而不需要专家对奖励函数进行调整。显然，并不是所有起始位置的难易程度都是一样的。尤其是，即使是放在目标附近的随机智能体，也可以在某时刻达到目标，获得奖励，从而开始学习。……