基于ReRAM的神经网络加速器发展概况
2018-02-20周川波
西部广播电视 2018年24期
周川波
(作者单位:四川广播电视台520发射传输台)
1 背景和研究进展
随着互联网发展、存储介质价格降低、数据来源越来越广泛,人们来到了大数据(Big Data)时代。深度学习[1-3](Deep Learning)可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善,包括最先进的语音识别、视觉对象识别、对象检测、推荐系统[4-5]和许多其他领域,例如药物发现和基因等。深度学习能够发现大数据中的复杂结构。它是利用反向传播(Backpropagation,BP)算法来完成这个发现过程的。BP算法能够指导机器如何从前一层获取误差而改变本层的内部参数,这些内部参数可以用于计算表示。深度卷积网络在处理图像[6]、视频、语音和音频方面带来了突破,而递归网络在处理序列数据,比如文本和语音方面表现优秀。
深度学习方法虽然取得许多突破,但是也存在着模型参数数量大,训练慢等问题,除了改进训练算法,在软件层面加快速度外,利用硬件加速训练神经网络也引起了学术界的关注。在2016年的ISCA会议和MICRO会议,发表了许多有关身神经网络加速器的文章,下面简单介绍这两个会议的有关内容。
ISCA2016于6月18日至22日在韩国首尔召开,这次会议有近800名来自世界各地的工业界和学术界的专家学者参加,在参会人数上创下历史新高。本届会议共收到了291篇投稿论文,最终录用了57篇,接收率为19.6%。
在这次大会上,SK Hynix的执行副总裁Seok-Hee Lee做了关于存储技术的报告。由于CPU/GPU计算能力的迅速增长,未来系统性能的提高遇到了“存储墙”(Memory Wall)的瓶颈,使存储技术在计算机体系架构的重要性越来越高。……
登录APP查看全文
