陈进，张志巧，廖彩淇，唐学明

(江苏大学机械工程学院，江苏镇江，212013)

0 引言

气振盘式播种流水线作为一种自动化程度较高的农业机械，机械臂排种是其中重要环节。目前，本团队研制的气振盘式精密播种流水线在作业过程中，受二自由度机械臂运动限制，育秧盘需在排种位等待吸种盘完成排种[1]。由于原二自由度机械臂不支持动态改变既定规划并与其他装置相协调，需操作人员纵向协调流水线播种进程，导致机械臂与流水线的协调性成为影响播种效率的重要因素。为代替二自由度机械臂灵活高效地完成播种相关动作，提高播种效率，亟需开展关节式机械臂动态自主运动规划算法研究。

伴随着人工智能技术研究的发展，强化学习的应用逐渐广泛[2]。强化学习的优越性体现在智能体能够通过与环境的交互，从过去的经验中不断改进行为，使得智能体能够完全自主[3]。Deng等[4]基于深度强化学习算法，添加额外奖励和外部奖励优化控制策略用于辅助手操作学习。Wang等[5]采用无精确模型的强化学习算法引导飞机向某一方向移动，通过设置连续动作奖励函数和位置奖励函数来提高训练效率。Tang等[6]证明在近端策略优化算法中加入动作掩码可剔除动作集中的无效动作，提高训练效果。Kim等[7]提出模块化奖励塑造的方法可用于解决机械手复杂操作任务。Sangiovanni等[8]采用深度强化学习中的NAF连续控制算法成功实现机械臂的动态避障。国内外研究表明，深度强化学习在连续控制上具有显著成效，但当深度强化学习系统变得越来越普通时，引发期望行为的奖励函数的设计将会变得更加重要[9]。……