曾春艳，严 康，王志锋，余 琰，纪纯妹

1.湖北工业大学 太阳能高效利用及储能运行控制湖北省重点实验室，武汉430068

2.华中师范大学 数字媒体技术系，武汉430079

3.中国移动通信集团广东有限公司 汕头分公司，广东 汕头515041

在深度神经网络（Deep Neural Networks，DNN）的推动下，深度学习在自然语言处理[1]、图像处理[2]、语音识别[3]等相关领域取得了重大突破。深度神经网络成功的一个关键因素是它的网络足够深，大量非线性网络层的复杂组合能对原始数据在各种抽象层面上提取特征。然而，由于大多数深度学习模型复杂度高、参数多、透明性低，如黑盒一般，人们无法理解这种“端到端”模型做出决策的机理，无法判断决策是否可靠。

深度学习模型在实际应用中产生了各种问题，可解释性的缺失使这些问题难以解决。例如在医疗领域，看似非常精确的用于肺炎患者预后的系统，非常依赖数据集中的虚假相关性。该系统预测有哮喘病史的病人死于肺炎的风险较低，但这是因为哮喘病人得到了更快、更好的关注，才导致他们的死亡率更低。实际上，这类病人死于肺炎的风险会更高[4]。在司法领域，借助COMPAS软件对罪犯再犯风险的评估，法官能更合理地对保释金额、判刑等做出决策。但由于训练和测试模型时所用数据库的代表样本不足或是无关统计相关等原因，模型存在潜在的人种偏见、性别歧视，或是其他各种主观偏见[5]。在图像处理领域，高度精确的神经网络面对对抗攻击却很脆弱。……