卷积神经网络复杂性质与准确率的关系研究
2021-05-11王光波孙仁诚邵峰晶
复杂系统与复杂性科学 2021年2期
王光波,孙仁诚,隋 毅,邵峰晶
(青岛大学计算机科学技术学院,山东 青岛 266071)
0 引言
近年来,以深度学习为主导的人工神经网络模型结构日趋复杂,网络的层次不断加深、链接关系更加繁杂。如何设计有效的人工神经网络以提升深度学习的效果尚无有效的指导方法。已有研究表明神经网络的拓扑结构会对神经网络的性能产生较大的影响。Simard[1]验证了小世界神经网络比规则网络和随机网络具有更快的收敛速度。在2019年Saining Xie[2]分别对ER,BA,以及WS三种模型生成的随机连边神经网络进行了探索,在计算域相同的情况下WS(4,0.75)生成的随机网络在ImageNet上具有最高的准确率。因此,应用复杂网络的“小世界”、“无标度”等复杂网络性质来指导深度学习网络结构设计或许为深度学习模型设计提供理论依据。然而可以体现网络结构的复杂网络性质有很多,其中包括平均度,网络直径,图密度,模块化,平均聚集系数,平均路径长度等。平均聚集系数可以体现网络中节点聚集成团的程度,网络直径可以体现网络中任意两个节点的最大距离。具体哪些性质所体现的网络结构与神经网络的准确率有关尚不能明确。
因此,本文首先分析了先进的卷积神经网络的复杂性质,之后设计出了多组拓扑结构不同的卷积神经网络,通过在标准数据集的训练和公式计算获得了它们的准确率和拓扑复杂性质数据。通过相关数据探究了神经网络性能和拓扑结构复杂性质的关系。……
登录APP查看全文
