吴飞 廖彬兵 韩亚洪

摘要：深度学习已经成功运用在自然语言、多媒体、计算机视觉、语音和跨媒体等相关的特定领域。然而，这一架构在“端到端”模式下、通过标注大量数据来进行误差后向传播而优化参数的学习方法被比喻为一个“黑盒子”，解释性较弱。可解释性指算法要对特定任务给出清晰概括，并与人类世界中已定义的原则或原理联结。在诸如自动驾驶、医疗和金融决策等“高风险”领域，利用深度学习进行重大决策时，往往需要知晓算法所给出结果的依据。因此，透明化深度学习的“黑盒子”，使其具有可解释性，具有重要意义。围绕深度学习可解释性这一问题，本文从卷积神经网络可视化、卷积神经网络的特征分析、卷积神经网络的缺陷及优化、利用传统机器学习模型来解释神经网络和基于可解释模块的深度网络学习这五个方面介绍现有研究工作。对近年来人工智能顶级会议上关于深度学习可解释性的论文发表数量进行统计分析，发现深度学习的可解释性是目前人工智能研究的一个热点。最后，本文认为深度学习的可解释性研究可从因果模型、推理、认知理论和模型、智能人机交互等方面着手，以构建出可解释、更通用和适应性强的人工智能理论、模型和方法。

关键词：深度学习;可解释性;端到端;可视化;智能人机交互;人工智能

中图分类号：TP18文献标识码：A文章编号：1673-5048（2019）01-0039-08[SQ0]

0引言

目前，深度学习[1-2]已经成功运用于自然语言、多媒体、计算机视觉、语音和跨媒体[3-7]等相关特定领域。……