雷霞，罗雄麟

深度学习可解释性研究综述

雷霞，罗雄麟*

（中国石油大学（北京）信息科学与工程学院，北京 102249）（∗通信作者电子邮箱luoxl@cup.edu.cn）

随着深度学习的广泛应用，人类越来越依赖于大量采用深度学习技术的复杂系统，然而，深度学习模型的黑盒特性对其在关键任务应用中的使用提出了挑战，引发了道德和法律方面的担忧，因此，使深度学习模型具有可解释性是使它们令人信服首先要解决的问题。于是，关于可解释的人工智能领域的研究应运而生，主要集中于向人类观察者明确解释模型的决策或行为。对深度学习可解释性的研究现状进行综述，为进一步深入研究建立更高效且具有可解释性的深度学习模型确立良好的基础。首先，对深度学习可解释性进行了概述，阐明可解释性研究的需求和定义；然后，从解释深度学习模型的逻辑规则、决策归因和内部结构表示这三个方面出发介绍了几种可解释性研究的典型模型和算法，另外还指出了三种常见的内置可解释模型的构建方法；最后，简单介绍了忠实度、准确性、鲁棒性和可理解性这四种评价指标，并讨论了深度学习可解释性未来可能的发展方向。

深度学习；可解释性；决策归因；隐层表示；评价指标

0 引言

近年来，基于深度学习模型的算法已逐步改变人类处理现实问题的方式，深度学习在社会和生活等各个领域的应用呈现高速增长的趋势。由于深度学习领域的研究，深……