1 引言

近年来，迅速兴起的人工智能技术越来越多地应用和部署到包括手机在内的终端侧。然而，在云端部署追求精度而设计的DNN模型因其具有层数较深、参数较多、计算量较大的特点，在移植到终端侧的过程中出现了时延、算力、存储和功耗等方面的问题，业界纷纷从硬件、软件等多方面来解决此类问题，推动人工智能技术在终端侧的快速有效应用。

2 端侧AI加速方案

2.1 硬件加速

AI技术开始赋能移动智能终端，AI应用不断丰富，为高效执行AI计算，获得更好的应用体验，主流芯片公司均提供了终端侧的AI算力支撑，即在端侧高效执行神经网络的算力支撑。从表1可得，现阶段手机行业AI算力的硬件解决方案现阶段大致分为两种技术路线。第一类，芯片内置专用的神经网络运算单元，对神经网络中大量的矩阵运算进行加速，以华为海思麒麟810、970[1]，苹果A11、A12为代表。第二类，通过SDK、API等调度传统硬件单元（CPU、GPU、DSP）及其他通用计算单元联动赋予芯片机器学习能力，以高通（骁龙855[2]、660AIE等）和联发科（P60、P90[3]）的部分芯片为代表。随着技术进步、应用场景的丰富以及端侧AI高效算力的要求，两种技术路线有融合发展的趋势[4]，如表1所示。对于芯片厂商，支持量化技术，可以在移动设备端进行神经网络推断时获得较好的运行速度收益，满足现阶段终端侧以神经网络推断为主的AI算力需求。

表1 主流手机芯片厂商AI芯片硬件加速方案

2.2 降低模型大小

现阶段的CNN模型并不适用于移动终端，如AlexNet、VGG、ResNet等模型大小动辄超过百兆，对移动设备的内存和运算时延都提出了较高挑战。……