王 军，冯孙铖，程 勇

（1.南京信息工程大学计算机与软件学院，南京 210044；2.南京信息工程大学数字取证教育部工程研究中心，南京 210044；3.南京信息工程大学 科技产业处，南京 210044）

0 概述

在17 世纪，贝叶斯和拉普拉斯完成对最小二乘法的推导并提出马尔科夫链，这两个理论成为机器学习发展的基础理论。在1950 年，艾伦·图灵提议建立一个学习机器，之后机器学习进入飞速发展阶段。在1986 年，深度学习被引入机器学习领域，为人工智能的发展提供了极大的动力支持。在2000年，深度学习通过组合多个隐藏层的神经元，并利用非线性函数学习多个具有抽象意义的数据特征，达到模拟神经网络的目的［1-3］，且广泛适用于有监督和无监督特征学习［4-6］、特征表示［7］、模式识别等任务。深度卷积神经网络（Convolutional Neural Networks，CNN）在图像识别［8-9］、目标检测［10-11］、语义分割［12］等计算机视觉的前沿领域展现出巨大的潜力，但是常规的卷积神经网络在达到较高分类精度的同时需要较快的运算速度和占用大量存储空间［13］。目前，智能移动设备的发展趋向于边缘化和移动化发展，但却受限于设备本身的硬件条件，而深度卷积神经网络轻量化设计的目标就是在低硬件条件的设备上仍能保持良好的网络性能来适应智能设备的发展趋势。

轻量化的本质是在硬件不足的设备上解决存储空间和能耗对于传统神经网络性能的限制，在保持传统神经网络精度的基础上，通过人工设计、神经结构搜索或自动化机器学习等方法降低对存储空间的要求，提高运行速度。……