刘 贺，张小川，刁志东，王 森

(重庆理工大学 两江人工智能学院，重庆 401135)

基于深度学习算法的人工智能产品已经开始落地应用，在取得较好成果的同时，也发生了很多意外事故。比如，微软基于深度学习开发的聊天机器人Tay，在实践中说出了涉及种族歧视的言论，特斯拉设计的自动驾驶汽车发生撞人事件，因此，近几年来深度学习模型的可解释性问题逐渐成为了一个较为关注的领域[1-2]。深度学习的可解释性研究对于这一类算法和基于这类算法的产品落地应用来说具有重要的意义[3-4]。

深度学习加强化学习构成的深度强化学习算法，已经在智能体博弈领域有了非常成功的实践，尤其是在棋类博弈当中[5-6]。在深度学习给博弈智能体带来成功的同时，也把其可解释性差的问题引入进来。因此，对于深度强化学习智能体模型的可解释性[7]研究也是必不可少的。对于该类算法，由于其内部参数结构非常复杂，所以目前很多研究者将其看作为一个“黑盒”[8]，从其输入、输出进行解释性研究，并在此基础上设计了很多方法来解释这个“黑盒”的判断逻辑或者判断依据[9]。已有学者开始尝试使用注意力机制[10]或者引入公理化的决策理论[11]等方法从模型内部进行模型的可解释性研究。

在从模型内部进行可解释性研究的同时，不少学者提出用显著图[12]这种有较好展示效果的方法从外部对模型的决策进行可解释性研究。Iyer等[13]提出使用显著图来解释……