石晓荣 倪 亮 王 健 郭宇航

北京控制与电子技术研究所，北京 100038

0 引 言

导弹探测直接影响导弹打击目标的成功率。导弹武器系统上的光学探测方法必须具备高可靠性，才能保障导弹武器的成功打击。卷积神经网络近年来在图像识别领域取得了较大突破，将卷积神经网络应用于导弹武器系统有望提升目标探测打击的成功率，提高武器装备作战效能。但是卷积神经网络属于“黑盒模型”，在可靠性上不能保证，难以直接应用于导弹武器系统。

当前卷积神经网络(CNN)的解释性方面的研究从思路方面可分为2类：1)通过将输出的结果映射到输入空间，来理解CNN的决策过程，获取对于决策起到关键性作用的输入区域；2)对CNN的中间层进行研究，了解CNN内部本身的解释方式，通过中间层的一般规律解释模型，不必与输入之间存在特定的联系。

在第1个方向中，开创性的工作之一就是 Selvaraju等人提出的Grad-cam方法[1]，使用了Deconvnet，该网络通过输入一个选定层的特征图，重建出最大的激活单元，通过该方法找出对于该激活单元贡献度最大的图像区域。Olah等人[2]提出了一套工具箱，用于预训练模型中卷积层编码信息的可视化。LIME[3]选择了一种更简单的处理方式，通过线性模型在样本局部对原模型进行拟合，分析对样本分类贡献度最大的图像区域，从而给出模型的解释。Zhang等人[4]提出通过图结构来描述各卷积层之间的关系，解释层级之间的语义信息。

在第2类方法中，主要的开创性工作之一是Mahendran等人[5]提出根据给出的CNN的中间层，对原图进行重构，获得CNN中每个类的理想样本，通过梯度的方式从中间层生成了能让分类分数最高的输入样本。……