APP下载

深度神经网络平均场理论综述

2024-03-21颜梦玫杨冬平

计算机应用 2024年2期
关键词:深度

颜梦玫,杨冬平

(1.福州大学 先进制造学院,福建 泉州 362000;2.中国科学院海西研究院 泉州装备制造研究中心,福建 泉州 362200;3.之江实验室 混合增强智能研究中心,杭州 311101)

0 引言

深度神经网络(Deep Neural Network,DNN)最初主要应用于参数初始化的预训练过程[1],后来利用具有深度的卷积神经网络(Convolutional Neural Network,CNN)识别图像[2]。DNN 吸引了众多研究者的关注,由此掀起了深度学习的热潮。然而,尽管DNN 在应用领域取得了显著的成功,但其背后的决策机理仍不够明确。目前,深度学习方法仍然是一门高度实践的艺术,充满许多启发式的技巧,并非一门精确的科学。这一缺陷对于金融、医疗、公共安全和国防等领域通常是致命的[3]。因此,需要构建一个成熟的DNN 理论指导深度学习中的广泛工程应用,进而优化深度学习算法。尽管近年来在深度学习理论方面取得一些成效,但大部分工作专注研究单个隐藏层网络,深度网络的理论在很大程度上仍悬而未决。

DNN 与传统的浅层网络的本质区别在于网络的深度,而DNN 成功的一个关键因素在于它的高表达性:一方面,它可以紧凑地以一种浅层网络无法做到的方式表达输入空间的高度复杂函数。此外,DNN 可以将输入空间中的高度弯曲流形在隐含层空间中解耦为扁平流形,有利于简单地线性读出。这些DNN 的直觉理解完全可以通过现有的平均场理论(Mean Field Theory,MFT)来描述、分析和探讨[4]。MFT 不仅可用于描述与分析特定DNN 的训练过程[5],还可以探讨DNN 的泛化性能及关键因素[6]。这些理论研究成果,让人们看到MFT 在构建一个统一理解DNN 运行机制理论框架中是一个非常重要的基本理论方法。……

登录APP查看全文

猜你喜欢

深度
四增四减 深度推进
深度观察
深度观察
深度观察
深度观察
刍议深度报道的深度与“文”度
提升深度报道量与质
微小提议 深度思考
微小提议 深度思考
猪的深度人工授精