黄涛， 班晓军， 吴奋， 黄显林

(1.哈尔滨工业大学 控制理论与制导技术研究中心，哈尔滨 150001；2.Department of Mechanical and Aerospace Engineering，North Carolina State University, Raleigh 27695-7910, USA)

0 引 言

磁悬浮系统具有低阻力、无噪声、寿命长等特点，在交通、机械、材料、电器等诸多领域都有着广泛的运用。磁悬浮球系统具有非线性、开环不稳定等特性, 又因其结构简单，而经常被用来作为验证控制算法的研究对象。

针对磁悬浮球系统，学者们提出了许多先进的控制算法[1]，包括变结构控制[2]、模糊控制[3-5]、神经网络控制[6-7]、鲁棒控制[8-9]等等。文献[2]对存在干扰和抖动的磁悬浮球实验平台，通过积分补偿设计了离散滑模变结构控制器；文献[3-4]采用了模糊控制，在磁悬浮系统控制上起到了良好的效果；文献[5]将模糊控制与滑模控制相结合，进一步提高了磁悬浮系统的控制精度；文献[6-7]使用RBF神经网络控制器，对系统进行辨识后进行了神经网络自适应状态反馈控制器设计，在磁悬浮系统控制上也取得了良好的效果。

磁悬浮球系统在建模的过程中做了很多假设(如忽略磁漏、边际效应等)，一些物理参数难以准确获得，这些问题都制约了建模精度，给基于精确模型的控制方法的设计带来了困难。而PID控制、模糊控制等，虽然不需要精确的模型，但这些方法需要研究者根据经验或实验来选择合适的控制规则或参数，受人为因素影响较大，且很难给出在特定指标下的最优控制。

针对以上问题，本文提出一种基于强化学习的Q网络自学习控制方法，在无需系统模型的情况下，通过强化学习方法设计出一种磁悬浮系统自学习控制器。……