王登峰，胡 浩，吴建德

(1.郑州信息科技职业学院机电工程学院，郑州 450046;2.昆明理工大学信息工程与自动化学院，昆明 650500;3.贵阳学院机械工程学院，贵阳 550005)

0 引言

旋转机械目前被广泛用于包括石油、能源和化学工业在内的各种工业应用领域，机械故障可能会造成巨大经济损失甚至灾难性事故[1]。随着可靠性相关理论的发展，旨在监测、评估、诊断和预测机械健康状态的研究引起了学者们的广泛关注[2-5]。

深度学习作为一种机器学习算法，可以通过多个非线性变换和近似复非线性函数，从原始数据中自适应地学习层次表示，实现故障诊断[6]。但是，它仍然存在两个主要缺陷：①无法在原始数据和相应的故障模式之间建立直接的线性或非线性映射，且这些故障诊断方法的性能取决于构建和训练深度模型的质量。②这种方法的训练机制主要基于监督学习或半监督学习，这意味着诊断算法需要专家系统以便专门学习不同的故障模式[7-8]。

深度强化学习(deep reinforcement learning, DRL)涉及强化学习和深度学习的结合，这种结合使人工代理可以直接从原始数据中学习其知识和经验。深度学习能使代理感知环境，而强化学习能使代理学习应对现实问题的最佳策略[9-10]。考虑到上述问题，提出了一种基于堆叠式自动编码器(stackable automatic encoder, SAE)与深度Q网络(deep Q network, DQN)的深度强化学习机械故障诊断方法。

1 深度Q网络

1.1 Q学习

作为一种无模型的强化学习算法，Q学习也可以被视为一种异步动态编程方法[11]。Q学习代理的学习过程可以概括为三个步骤：①代理基于对当前状态的观察尝试行动；……