张晓，李晋宏

（北方工业大学 信息学院，北京 100144）

0 引言

近些年来，深度学习(Deep Learning，DL)和强化学习(Reinforcement Learning，RL)作为机器学习内的两大研究热点[1]，已经在图像分析、语音识别、自然语言处理、视频分类等领域取得了令人瞩目的成功[2].由此，谷歌的人工智能研究团队DeepMind创造性的将DL与RL结合，形成了人工智能新的研究领域，即深度强化学习(Deep Reinforcement Learning，DRL)。

由于深度强化学习在连续动作场景中取得了良好的效果，如2016年AlphaGo击败了世界顶级围棋选手李世石，此后Facebook在DOTA2中击败顶级选手，CMU团队研发的德州扑克AI冷扑大师轻松击败顶级玩家，人们开始探索深度强化学习在工程领域的应用，谷歌利用DRL算法来优化数据中心服务器群的参数设置，并节省了40%的电力能源；黄旭等人利用DDQN进行、火箭姿态控制器中的参数调整，并进行了智能体的前向测试，结果显示使用训练出来的智能体代替人工设计姿态控制器参数的思路具有一定的研究价值和潜力[3]；刘威等人提出一种基于深度强化学习的电网切机控制策略，所提控制策略依据电网运行环境信息，通过数据分析得到切机控制策略，最后通过IEEE 39节点仿真数据验证方法正确性[4]等，可以看出深度强化学习在工程领域的前景十分广泛。

铝电解工艺采用冰晶石-氧化铝熔融电解法。该方法利用熔融冰晶石做溶剂，氧化铝做溶质，接通大的直流电，在950℃～970℃的条件下，进行化学反应，产出铝液[5]。针对整个电解过程，可以人为的控制一些参数对电解过程进行调整……