李鹏松, 李俊达, 倪天宇, 张 琦, 胡建平

(东北电力大学 理学院, 吉林 吉林 132012)

卷积神经网络(convolutional neural network, CNN)是计算机视觉领域中的重要模型, 由卷积层、 池化层和全连接层构成, 其参数量巨大[1]. 近年来, 为进一步提高其性能和应用范围, 研究者们从网络结构、 损失函数和优化算法等方面对卷积神经网络进行了各种改进[2-6]. 在改进过程中卷积神经网络的深度不断增加[7-9], 而卷积核作为其中数量最多的参数, 对网络性能的影响逐渐增大. 庞大的卷积核数量也使卷积核的更新状况与其初始值紧密相连, 因此卷积核的初始化对网络的识别性能和收敛速度起决定作用. 由于卷积神经网络中参数多、 网络结构复杂, 因此卷积核的初始化方法主要以随机初始化为主, 即根据某特定的概率分布生成一组随机数作为卷积核的初始值. 但大多数卷积神经网络的深度较深, 随机初始化会使网络中卷积层输出值的方差越来越大, 最终导致网络收敛速度变慢[10]. 针对上述问题, Glorot等[11]提出了Xavier初始化方法, 通过使各卷积层输入输出值的方差一致防止网络在前向传播时累积方差, 但该方法成立的前提是网络的激活函数为对称函数, 而大多数卷积神经网络的激活函数是非对称函数, 因此并不适合卷积神经网络； Krizhevsky等[12]在提出AlexNet的同时, 使用Gauss初始化方法初始化卷积神经网络, 该方法通过Gauss分布使卷积层输出值的期望为零, 同时通过设置极小方差限制各卷积层输出值的方差……