张睿权，覃 华

(广西大学 计算机与电子信息学院，广西 南宁 530004)

0 引 言

目前图像分类[1-6]主要用深度神经网络实现[7-11]，其中ResNet网络[12]具有网络层数较深时不容易出现梯度消失和爆炸的优点，但存在训练收敛难和过拟合等问题，这些不足与ResNet全连接层上的梯度训练算法有关。为此，出现了一些ResNet的改进训练算法。文献[13]用动态衰减率自适应梯度解决训练算法在某些应用场景中泛化能力下降的问题，文献[14]使用最大化过去平方梯度更新参数解决历史梯度对学习率的影响。文献[15]采用过去梯度的固定大小窗口来缩放梯度，改进了梯度算法的收敛性。文献[16]用混合幂和多维更新策略改进了梯度算法的收敛性。文献[17]提出的AdaBound算法通过学习率的上下界限实现了一种新的自适应梯度法，具有良好的训练收敛效果。受此上述文献启发，为改善ResNet的训练稳定性和收敛性，本文提出一种模糊策略的梯度下降法(fuzzy policy gradient descent，FPGD)用于ResNet全连接层的训练，核心思想是：首先把ResNet的训练看作一个无约束优化问题，推导出基于一阶梯度的神经元连接权重的迭代更新公式；接着设计一种模糊决策函数，用来自适应模糊调整权重更新公式的学习率。最后在经典的图像分类数据集CIFAR-100和CINIC-10上验证所提算法；与最新的AdaBound训练算法相比，所提算法在综合分类指标Kappa系数上分别提高了9.30%和9.27%，而准确率分别提高了9.16%和8.14%，宏召回率提高了9.16%和8.14%，宏精确率提高了8.09%和7.89%，宏F1提高了9.26%和8.17%。

1 ResNet深度神经网络的基本结构

ResNet深度神经网络的基本结构如图1所示，它是由一系列卷积层、残差模块和全连接层组成，其中Conv1、Conv2和Conv5等是由残差模块堆叠而成，其中残差模块是由卷积层串联在一起。……