卢敏

（西华大学计算机与软件工程学院，成都 610039）

0 引言

近年来，卷积神经网络（CNN）在计算机视觉及其他领域的各种任务中实现了最先进的准确性，在针对复杂场景中的目标检测、图像分类和自然语言处理等取得了巨大的成功［1］。随着智能物联网和边缘设备的飞速普及，嵌入式移动设备引起了广泛的关注。神经网络技术不断扩展到一些低计算和低功耗的移动设备上，比如自动驾驶、无人机和智能机器人等。人们对在边缘设备上实现机器学习算法的需求越来越迫切。然而，CNN的计算复杂性和内存带宽要求成为阻碍CNN在低功耗边缘设备上普遍使用的主要障碍之一。所以，运行在移动设备的算法不仅需要更高的精度，还需要具备低时延、低功耗的特点。常用的CNN结构，随着网络深度的增加，网络性能提高的同时也增大了计算量，不适用于资源受限的移动端。因此，在低功耗、计算资源和内存带宽的限制下保持高精度和吞吐量是在嵌入式平台上部署CNN模型需要解决的关键问题。

为了降低模型复杂度，使其能在资源受限的边缘设备上运行，以达到实时检测的目的，轻量化神经网络模型得到了广泛的关注［2］。实现模型轻量化一般有两种方法。第一种是对已有的模型压缩。CNN算法模型通常过度参数化并表现出明显的冗余，因此适用于减小模型大小。权重量化、剪枝、蒸馏和低秩分解是为优化CNN模型而提出的一些方法。另一种实现模型轻量化的方法是人工设计更小、更高效的CNN架构。……