廖干洲

(广州大学松田学院，广东 增城 511370)

0 引言

深度学习网络，尤其是卷积神经网络（简称CNN），自从在LeNet[1]的问世以来，其实在2012年 AlexNet[2]以绝对优势问鼎 ImageNet LSVRC-2012挑战赛以后，卷积神经网络几乎成了深度学习网络的代名词，在图像、语音识别等领域上的应用具有压倒性的优势。以至于随后的VGG[3]、GoogLeNet[4]、ResNet[5]等经典网络，都是在卷积神经网络的基础上，在网络模块结结构、网络深度和训练方法等进行改进，从而得到进一步的发展应用。甚至连今年流行的目标检测（Object Detection）算法中，诸如 RCNN[6]，Faster RCNN[7]、SSD[8]、YOLO[9-11]等网络，无一不是从卷积神经网络的基础上发展起来的。

尽管卷积神经网络在识别和目标检测领域上具有令人满意的效果，但是这些效果多是在实验室的高性能计算机中得到的，如YOLO-v1在2016年的计算机配置中，使用了4块Titan X显卡，每一个块显卡的算力达到6.9 TFLOPs，而移动端当前最新的处理器高通骁龙 865处理器的算力为1.5TFLOPS，不及于4年前计算机的1/4，因此最前沿的卷积神经网络的效率问题一直为人所诟病，也正因为这个原因，卷积神经网络在很长的一段时间内，都是停留在实验室当中，真正的应用较少。人们也一直致力于在卷积神经网络移动端的移植应用，但是多是停留在网络剪枝和减少网络层数等方法上，没有根本地解决卷积神经网络结构复杂的问题。直到 2016年提出 Squeeze Net[13]和 2017年 google团队提出 Mobile Net[14]后，轻量化的卷积神经网络算是有了比较明确的发展方向与路径。

近年便携式设备得到了迅速的普及，用户也对其提出了越来越多的需求，尤其在神经网络的应用上。……