李润泽，张宇飞，陈海昕

清华大学 航天航空学院，北京 100084

随着优化算法和机器学习技术的发展，计算机辅助设计(CAE)在飞行器气动设计中可以发挥更大的作用，但设计师的经验和判断仍不可或缺。工程设计中往往仍需要设计师结合自身的经验和理解进行手动修型，或者在优化过程中进行实时调控。

强化学习是一种用于策略学习的机器学习方法，通过与其所面对的环境(Environment)不断交互以积累经验，学习如何采取不同动作以提高累积回报。本文探索使用强化学习模拟设计师在手动修型设计时积累经验的过程，总结根据翼型的状态选择修型动作的策略，以形成可迁移的策略模型。

本文分为以下几个部分。首先介绍强化学习在流体力学领域的应用，针对气动优化设计解释强化学习的相关概念。之后介绍翼型参数化修型的方法和修型动作，以及强化学习的相关算法。在此基础上，介绍强化学习针对超临界翼型气动减阻问题的实现，并讨论相关训练方法的影响，以及所形成策略的迁移应用效果。

本文是对强化学习在气动优化设计中应用的一个探索，希望打通道路，搭好框架。因此进行了诸如CFD分析采用欧拉方程、限制修型步数为三步等简化，以上措施不会影响本文的相关结论，但也应该看到强化学习的推广应用还需要开展大量的工作，积累更多的成果。

1 气动优化设计与强化学习

1.1 气动优化设计中的“机器学习”

近年来优化在飞行器气动优化设计中得到了越来越广泛的应用，有些研究通过多种手段提高优化方法在工程设计中的实用性，有些研究利用机器学习来提高数据的利用率或提高优化效率，具体内容可参考文献[1-2]。……