APP下载

基于DPC 优化动态路由的胶囊网络算法

2021-05-24林凯迪杜洪波朱立军

沈阳工程学院学报(自然科学版) 2021年2期

林凯迪,杜洪波,朱立军

(1.沈阳工业大学 理学院,辽宁 沈阳 110870;2.北方民族大学 信息与计算科学学院,宁夏 银川 214215)

随着深度学习的不断发展,卷积神经网络得到深入研究,在实时应用、人脸识别、复杂网络、迁移学习及图像分割等领域都有着不凡的表现[1-5]。但是卷积神经网络存在两个重要缺陷,一是无法考虑部分与整体之间的空间关系,二是池化过程中丢失了大量有价值的信息。SABOUR S 等人[6]于2017年提出了胶囊网络及胶囊层间的动态路由算法。胶囊由一组神经元组成,将标量提升为向量,不仅可以表示特征(或实体)间的空间关系,还可以表示特征(或实体)存在的概率。动态路由算法中的不同胶囊层通过路由迭代的方式进行连接,使胶囊以更少的模型参数获得更大的泛化能力。随后,HIN‐TON G E等人[7]于2018年提出了使用EM算法的矩阵胶囊网络,其胶囊包括姿态矩阵和激活概率,感受野的增加使得该网络可以拟合复杂图像。

胶囊网络具备更好地拟合特征的能力,但是计算开销过大成为该网络模型无法广泛应用的阻碍,因此减少计算开销是胶囊网络的一个重要研究方向。文献[8]提出了一种孪生胶囊网络(SCNet),并通过引入丢弃(dropout)操作来减少胶囊的数量。文献[9]提出了SPARSECAPS 网络,建立了一种完全无监督的胶囊网络,并且去掉网络的全连接层。文献[10]则是提出了运用胶囊池化(capsule-pool‐ing)的方法来降低胶囊的数量。

提升胶囊网络的性能主要从两方面进行,即优化胶囊和优化路由[11]。上述胶囊网络的研究均通过优化胶囊来提升网络的性能,而优化路由的方法较少。……

登录APP查看全文