苏炯铭,刘鸿福,项凤涛,吴建宅,袁兴生

(国防科技大学 智能科学学院,长沙 410073)

0 概述

当前以大数据和深度学习为基础的人工智能技术在图像识别、语音识别和自然语言处理等许多应用领域取得了巨大进展,然而深度神经网络(Deep Neural Networks,DNN)的不透明性、不可解释和不可理解成为制约其理论发展和实践应用的巨大障碍。基于深度神经网络的智能系统,其学习和预测过程不透明,对于模型学到何种有效特征以及如何做出预测和判断,整个过程缺乏可解释性,被称为“算法黑盒”系统。

当面对环境动态变化、信息不完全、存在干扰或虚假信息的情况,智能系统的性能就会显著下降,此时用户如果选择无条件相信系统,则有可能产生严重后果[1],如在图像中加入细小扰动[2-4]或采用生成对抗网络(Generative Adversarial Networks,GAN)[5-6]生成的对抗样本将造成分类决策错误。在军事[7]、医疗[8-9]、金融投资贷款、交通[10]等高风险决策领域,用户往往不能默认相信智能系统的决策结果,而是需要智能系统提供做出该决策的依据信息,交由用户对智能系统的决策进行最终评估和判断,如拒绝、接受或调整决策结果。当前,因基于深度神经网络的智能系统决策存在弱理解性,使其无法实现有效的人机交互,难以与人类协同工作,严重影响系统效能[11-13]。

可解释性并没有严格的数学定义。不同的学者给出了多种非数学上的定义,如人类对于决策原因理解的程度[14]、人类可以持续预测模型结果的程度[15]、向人类做出解释的过程等。……