张文烨，尚方信，郭 浩，3

（1.中国人民大学信息学院，北京 100872；2.山西虚拟现实产业技术研究院有限公司，太原 030024；3.太原理工大学信息与计算机学院，太原030024）（*通信作者电子邮箱slicent@foxmail.com）

0 引言

近年来，卷积神经网络（Convolutional Neural Network，CNN）被成功应用于许多计算机视觉问题的解决上，例如图像分类［1-2］、目标检测［3］和实例分割［4］等。但随着神经网络性能的增强，这些模型所需的运算量也显著上升。现代深度学习模型大多运行在大容量内存和高性能计算设备上，如图形处理器（Graphics Processing Unit，GPU），带来高昂计算成本；同时，移动设备和嵌入式设备搭载神经网络模型的需求与日俱增，而相关应用程序的运算性能、功耗和可用内存，均受设备平台的限制。因此，对计算和内存的高需求成为在移动设备上部署深度神经网络模型的瓶颈。

目前，解决这一矛盾的途径可分为三类：即模型量化［5-6］、模型剪枝［7-8］和神经网络架构搜索［9］。其中，量化神经网络及二值神经网络（Binarized Neural Network，BNN），致力于在取值有限的离散空间中，表征卷积神经网络的权值。与32 位浮点数运算相比，较低位宽环境下进行的运算显著降低了运算量。特别地，二值神经网络将权值和激活函数输出约束至二值类型（即+1或-1），使得乘法和累加运算可以被二进制位运算代替，大幅降低了运算成本；然而，对网络权值与激活值的量化操作将限制相关数值的信息表征能力，在低位宽环境下将导致严重的预测精度损失。为了兼顾运算效率与模型性能，Wu 等［10］基于微分神经网络架构搜索技术，在尽量保持预测精度的同时，逐层搜索特定的量化位宽（bit 数），构建了混合精度模型。……