刘 祥，华 蓓，林 飞，魏宏原

（中国科学技术大学 计算机科学与技术学院，合肥 230027）

0 引言

近年来，深度学习算法在图像识别［1］、目标检测［2］、目标追踪［3］等领域正逐渐取代传统算法［4］。随着深度神经网络（Deep Neural Network，DNN）模型和通用数据处理过程的日趋多样化，以及各种加速硬件的不断涌现，深度学习应用的软件开发难度在不断增大。一个深度学习应用的开发通常需要整合来自多个开源项目的代码，并针对底层硬件平台进行运行效率优化，开发工作量大、周期长，而且图形处理器（Graphics Processing Unit，GPU）资源利用率通常不高。GPU是深度学习的主要算力来源，但目前GPU 运行模型推理任务的资源利用率很低。例如，实时车牌识别应用中分别将YOLO（You Only Look Once）用于车辆检测、RetinaNet 用于车牌检测、LPRNet 用于车牌识别这3 个神经网络模型，在3 840×2 160 分辨率、30 FPS（Frames Per Second）帧率的视频流输入下，使用单块NVIDIA RTX2080Ti 依次推理模型时，GPU 的平均利用率仅为30.7%。

为了让开发者从繁重的代码开发、移植和调优中解脱出来，近些年出现了一些针对特定平台的组件式深度学习应用开发框架，如MediaPipe［5］、OpenVINO［6］等。MediaPipe 是Google 面向感知应用开发的流水线构建套件，允许用户通过网页前端或配置文件组合组件库的算子，构造输入和输出管道快速设计应用原型。用户可以自定义算子加入MediaPipe库，在移动端或桌面端部署应用。OpenVINO 是Intel 开发的一款面向计算机视觉应用的开发和部署工具，除支持深度学习模型部署外，还包含图片处理工具包OpenCV 和视频处理工具包Media，用于图像和视频解码和推理前后的处理等，在Intel x86 中央处理器（Central Processing Unit，CPU）上的推理速度达到了行业领先。……