中兴通讯股份有限公司 余金清 章 伟 贺小龙

本文提出一种对神经网络权重进行编排方法，根据量化的权重值的稀疏特性，通过只编排权重非0值，从而减少权重带宽；同时，提出一种硬件实现架构，结合编排好的权重，能够有效减少卷积网络的乘法运算，特别是在网络权重稀疏情况下，可以进一步减少卷积计算，从而提升神经网络处理能力。

1 背景分析

近些年来，人工智能技术在在全世界范围内得到了迅猛的发展，与此同时神经网络的规模不断增长，典型的神经网络动辄几十层甚至上百层，计算量不断的增加造成推理需要的时间也需来越长。

但实际应用中，在如此高的运算量中并不是所有的计算都是有效计算，特别是对于算法经过定点化或是稀疏化后，出现的权重为零的点，实际运行中，是不需要计算的。因此，神经网络的硬件加速器利用权重的稀疏特性减少计算量，且在此基础上进一步降低处理时间，提高效能，目前业界都在关注的重点技术问题。

2 设计思路

本设计采用两种方法来提升神经网络设计：

（1）权重编排：通过离线方式，对提前训练好的权重( weights)进行特别编排，去掉值为0的权重，完成对非0权重的编排。

（2）计算加速：卷积网络加速器，完成神经网络稀疏计算（只计算非0权重）提升网络处理能力。

2.1 权重编排

权重编排，通过编译器对每个积核中点化后的权重值重新编排，编排后的权重变为指示符表+映射表的形式。如图1所示……