基于特征图分块偏移的二值化卷积神经网络*
2022-08-23张邦源
张邦源,沈 韬,曾 凯
(昆明理工大学,云南 昆明 650500)
0 引言
随着深度学习[1]的不断发展,卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉、自然语言处理、语音识别等领域都取得了显著进展,并且CNN 已被证明在图像分类[2-6]、目标检测[7-10]和语义分割[11-13]等领域是可靠的,因此在实践中得到了广泛的应用。
为了追求更高的精度,近年来,CNN 模型的计算规模变得更加庞大,网络结构更加复杂、不规则且参数量巨大,对运算平台的存储容量和计算能力也提出了较高的要求,这就限制了CNN 等算法在功耗和性能受限的嵌入式平台上的发展。
因此,很多研究人员开始提出各种模型压缩算法和技术,即容忍一定的精度下降,来降低CNN的运算强度和模型参数量。其中,量化模型由于在硬件上移植会非常方便,因此神经网络模型的量化是一项有效的解决方案。神经网络二值化能够最大限度地降低模型的存储占用和模型的计算量,将神经网络中原本32 位浮点数参数量化至1 位定点数,降低了模型部署的存储资源消耗,同时极大加速了神经网络的推断过程。二值化神经网络(Binarized Neural Network,BNN)由于可以实现极高的压缩比和加速效果,所以它是推动以深度神经网络为代表的人工智能模型,在资源受限和功耗受限的移动端设备和嵌入式设备上落地应用的一种非常有潜力的技术。
二值化神经网络最初源于Courbariaux 的BinaryNet[14],在近几年的发展中,各种二值化的优化方法被不断提出,如XNOR-Net[15]、BNN+[16]、BinaryDenseNet[17]、Bi-Real Net[18]、MeliusNet[19]、IRNet[20]、ReActNet[21]等。
二值化神经网络的提出是为了解决现阶段神经网络存在的浮点运算冗余、运算速度低、对硬件设备内存占用过高的问题。……
