刘景亚

（中冶赛迪技术研究中心有限公司智能机器人技术研究所，重庆，401122）

0 引 言

目前钢铁冶金行业面临资源和环境约束不断加强、人口老龄化、劳动力等生产要素成本不断上升等问题，各钢铁企业对降本、提质、增效需求迫切。工业机器人在钢铁冶金领域的应用有利于降低企业人力成本、生产维护成本和安全事故的发生，提高生产效率、工艺稳定性和产品质量。由于钢铁冶金流程非结构化的工作环境不确定性因素较多，故要求工业机器人具有更多的自主性和智能化程度。

增强学习是机器学习和智能控制领域的主要方法之一，关注的是智能体如何在环境中采取一系列行为从而获得最大的累积回报，是一种提高智能体的自主性和对环境适应能力的有效方法[1]。近年来，增强学习正在被越来越广泛地应用到机器人研究领域，如移动机器人路径搜索[2]、人形机器人步态规划[3]和多关节机器人控制[4]等。K.Shibata[5-7]等利用基于增强学习的TS算法，将视觉信号输入到神经网络，针对二自由度的机械臂进行了研究；A.A.Jafari[8]等将增强学习和自组织映射应用到机器人控制中，对二自由度机械臂的路径规划进行了研究；J.A.Martin和D.Maravall等[9-10]利用进化理论和增强学习建立了自主机器人通用的控制器，并且对多连杆机器人的运动学逆解问题进行了研究。

本文基于增强学习的Sarsa算法对应用在钢铁冶金领域的平面三自由度工业机器人进行研究，目的在于实现工业机器人的运动自主规划和在不确定工作环境中的自适应。……