刘安林，时正华

(河海大学 理学院，江苏 南京 211100)

0 引言

四旋翼飞行器作为一种复杂的无人技术设备，凭借其质量轻、体积小、成本低、灵活机动的特点，在农业植保[1]、工业监测[2]、航空运输[3]、军事领域[4]等方面发挥广泛效用.为保证飞行器能高效完成任务，控制策略的设计至关重要.因此，许多研究着眼于对无人飞行系统进行智能化技术训练.

四旋翼飞行器是一种高度非线性、互相强耦联的欠驱动系统[5].此外，加上实际飞行环境中的外部干扰，如何设计控制策略变得尤为复杂.为解决上述困难，当前的研究提出了众多控制策略.经典的比例-积分-微分(PID)控制器[6]是根据系统误差进行负反馈的过程，在稳定的环境中已成功运用于四旋翼飞行器定高悬停、姿态控制等任务.然而，PID算法忽略了系统中的非线性因素，具有超调量大、易受外部干扰等缺点，并且采用试错法人工整定PID系数难以满足控制性能的要求.为解决模型的非线性问题，增强抗干扰能力，涌现了众多非线性控制策略，例如滑模控制[7]、反步法[8]、自适应控制[9]等.有些研究将上述几种方法整合以提升控制策略的鲁棒性[10,11]，但是这些方法各有优缺，并且模型的复杂性会加大控制策略的复杂度，不利于实施.

在过去几十年中，人工智能的蓬勃发展也扩展到控制领域，许多研究学者基于神经网络、深度强化学习算法设计控制策略.具有强化学习功能的控制策略最早可以追溯到2005年，Waslande等[12]采用标准策……