邓绍斌，朱军，周晓锋*，李帅，刘舒锐

（1.中国科学院 网络化控制系统重点实验室，沈阳 110016； 2.中国科学院 沈阳自动化研究所，沈阳 110169；3.中国科学院 机器人与智能制造创新研究院，沈阳 110169； 4.中国科学院大学，北京 100049）（∗通信作者电子邮箱zhouxf@sia.cn）

基于局部策略交互探索的深度确定性策略梯度的工业过程控制方法

邓绍斌1，2，3，4，朱军1，2，3，周晓锋1，2，3*，李帅1，2，3，4，刘舒锐1，2，3

（1.中国科学院 网络化控制系统重点实验室，沈阳 110016； 2.中国科学院 沈阳自动化研究所，沈阳 110169；3.中国科学院 机器人与智能制造创新研究院，沈阳 110169； 4.中国科学院大学，北京 100049）（∗通信作者电子邮箱zhouxf@sia.cn）

为了实现对非线性、滞后性和强耦合的工业过程稳定精确的控制，提出了一种基于局部策略交互探索的深度确定性策略梯度（LPIE-DDPG）的控制方法用于深度强化学习的连续控制。首先，使用深度确定性策略梯度（DDPG）算法作为控制策略，从而极大地减小控制过程中的超调和振荡现象；同时，使用原控制器的控制策略作为局部策略进行搜索，并以交互探索规则进行学习，提高了学习效率和学习稳定性；最后，在Gym框架下搭建青霉素发酵过程仿真平台并进行实验。仿真结果表明，相较于DDPG，LPIE-DDPG在收敛效率上提升了27.3%；相较于比例-积分-微分（PID），LPIE-DDPG在温度控制效果上有更少的超调和振荡现象，在产量上青霉素浓度提高了3.8%。可见所提方法能有效提升训练效率，同时提高工业过程控制的稳定性。

工业过程控制；深度强化学习；深度确定性策略梯度；局部策略交互探索；青霉素发酵过程