祖立鹏,王文学

1(中国科学院 沈阳自动化研究所机器人学国家重点实验室,沈阳 110016) 2(中国科学院 沈阳自动化研究所,沈阳 110016) 3(中国科学院大学,北京 100049) 4(中国科学院 机器人与智能制造创新研究院,沈阳 110169)

1 引 言

强化学习在许多虚拟任务中都展示出令人印象深刻的学习结果,例如电子游戏[1,2]、棋盘游戏[3]以及学习复杂的运动行为[4].然而,这些成功的强化学习算法在实际的机器人控制中却并未取得和虚拟世界一样的学习效果,主要是由于难以建立相同的机器人学习环境.同时,在真实的机器人与外界交互过程中,强化学习面临的一个巨大的挑战就是很难准确地定义和描述合适的奖励函数,而在游戏等虚拟任务环境中[5],奖励函数通常是明确定义的,并可以直接优化.对于实际机器人控制,通常希望通过行为来实现某种二进制奖励的目标任务(例如,只有将一个对象移动到所需的位置或实现系统的某个状态,才给予机器人奖励),这种任务的稀疏奖励函数容易设置,这自然会产生稀疏的回报[6].不幸的是,机器人在奖励稀疏的环境中进行探索与学习是非常困难的,因为在随机探索中,智能体很少获得正向的奖励信号[7].

自监督学习(SSL)是用来解决上述问题的有效方法之一[8],该算法学习如何根据需要达到任何预先观察的状态[9],其主要的方式就是通过自己监督自己.这个问题可以表述为训练一个目标制约策略,目标制约策略旨在获得观察……