张凯歌, 卢志刚, 聂天常, 李志伟, 郭宇强

(北方自动控制技术研究所, 山西 太原 030006)

0 引言

神经网络在计算机视觉[1]、自然语言处理[2]、强化学习[3]等方面的应用逐渐走向成熟。尤其是计算机视觉方面,深度神经网络已经成为目标检测、目标识别、图像降噪等问题的主要解决方案。这得益于深度神经网络模型在网络结构上的不断完善。具体来说,残差网络的出现使得神经网络的深度不再受到梯度爆炸和梯度消失的限制[4];CSPNet的出现解决了梯度信息重复导致的计算量庞大的问题[5];注意力机制的出现提升了神经网络对关键信息的敏锐度[6];自注意力和transformer的引入使得深度神经网络模型的特征提取功能扩大到范围更广的局部-全局特征间的联系[7]。模型结构复杂度的提升往往伴随着更大的算力需求,使得深度神经网络模型的部署被局限在TPU或GPU。例如,在TPU或GPU上训练一个ResNet典型目标识别网络只需不到10 min,推理可以实现实时处理[8],而这对于嵌入式设备来说几乎无法实现。在这种情况下,一系列对计算和内存资源要求不高的方法成为研究热点[9-10]。这种在边缘端实现智能技术的方法称为智能边缘计算。

随着智能化、无人化装备技术的发展,智能技术在无人装备上的应用成为实现无人装备战斗力生成的关键。然而,受到体积、质量、能耗等的约束,无人机、无人车、巡飞弹等无人化装备采用的硬件算力受到极大限制,使得大规模深度学习模型的应用成为挑战。……