梅旭恒，马嘉辉，陈志轩，邓一星，杨荣领

(华南理工大学广州学院，广东 广州 510800)

0 引言

近年来，基于卷积神经网络深度学习中的强大的特征提取能力和泛化能力，在图像识别与分类、目标检测、图像文本及图表的识别与分类、语义分割与自然语言处理、场景分类、人脸识别、音频检索、医疗诊断诸多领域等众多领域都得到了广泛地应用。然而，由于深度卷积神经网络普遍规模庞大、计算度复杂，限制了其在实时要求高和资源受限环境下的应用。因此，对卷积神经网络的计算过程进行优化，提高其计算效果有助于深度学习在更广泛的领域应用，已成为深度学习社区的一个新的研究热点。卷积神经网络深度学习的优化可以分为计算结构的优化、激活函数优化和卷积核初始参数优化等三大类型。目前大多数的优化集中在计算结构的优化[1]，针对卷积核初始参数优化研究比较少。然而卷积的过程可以看成是卷积核的图像模式与被分类图像的图像模式的匹配滤波的过程。对于特定的图像识别或分类来说，如果卷积核能表征待分类图像特有的局部几何特性，则这些几何特性就更容易被检测出来。因此在CNN神经网络训练中，卷积核初始化是非常重要的。

卷积神经网络在图像识别领域有着重要地位。卷积神经网络的网络鲁棒性取决于网络的层数，激活函数的选择，权重初始化等因素。在权重初始化方面，近年来人们更多的是使用正态分布初始化（μ=0，σ2= 0 .01），正态分布初始化的优点是适用于大部分图像场景，能够很好地解决网络参数传播的梯度问题。……