APP下载

基于深度学习处理框架的神经网络压缩方法研究

2022-03-07齐勇军汤海林

江西科学 2022年1期
关键词:深度方法

齐勇军,汤海林

(广东白云学院大数据与计算机学院,510450,广州)

1 问题提出

随着人工智能的继续发展需要具有更强的系统观,具备更好的抽象能力将人工智能面临的复杂问题化繁为简,借鉴和使用计算机程序语言、网络和系统等多个领域中的经典方法,并以合理层级框架和有效工具的形式,充分提高人工智能研究和实践的效率和创新能力。人工智能系统涵盖了从专用硬件加速器到新的体系结构,再到语言、框架和编译,最后到分布式系统和网络资源分配、调度和执行管理等多个层次,关注包括可用性、可扩展性、异构性、大规模可伸展性、性能和能耗、可靠性、安全隐私等在内的多个维度。用于图像分类的VGG、GoogleNet、ResNet等神经网络算法接连在ImageNet挑战赛上大放异彩[1]。同时,用于目标检测的R-CNN、YOLOv3、Cascade R-CNN[2]等网络不断演化迭代,促进了现代计算机视觉应用飞速发展。从循环神经网络(RNN)被广泛应用于自然语言处理中,随后逐渐出现了长短期记忆网络(LSTM)、预训练语言模型(BERT)等优化方法,为自然语言理解等应用作出了突出贡献,共同将深度神经网络推向了繁荣发展的黄金时代。

深度神经网络持续增长的算力需求,对硬件处理的性能和能效提出了更高的要求。根据OpenAI发布的AI计算量报告,AI所需的计算量呈现出每年增长10倍的趋势[3]。与之相对应的是随着摩尔定律放缓而下降的处理器发展速度。据《计算机体系结构:量化研究方法》中的数据显示[4-5],当前传统处理器和工艺的算力每两年提升约1倍。……

登录APP查看全文

猜你喜欢

深度方法
学习方法
深度观察
深度观察
深度观察
深度观察
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法
提升深度报道量与质
捕鱼