窦晓磊，陈 鸣，陈 兵，徐亚欣

(南京航空航天大学 计算机科学与技术学院,南京 211106)

E-mail:dxl_nuaa@nuaa.edu.cn

1 引 言

随着无人机技术的成熟，各种在无人机上搭载相机系统的图像应用也得到了很大的发展.由于无人机可以方便地飞行到目标上空的特定区域，使相机系统能够从适合的视角获得目标的图像信息，这种应用有比从地面由人获取图像具有更好的灵活性、工作质量和经济性.以往对于这类航空摄影摄像应用，人们要在无人机航摄航拍过程结束后，从机载相机系统上拷贝出影像文件，再进行后继处理和利用，存在着实时性差的缺点.然而，在诸如交通事故处理、森林火灾监测、搜索救援、边境管理、石油管线巡查等场景下[1-4]，实时处理图像应用的技术和系统显得极为重要.我们将这类基于无人机实时获取影像信息并完成特定应用功能的应用称为基于无人机的实时图像应用(Realtime Image Applications based on Unmanned aerial vehicle,RIAU).

支持RIAU的系统通常包括摄像、计算、通信、控制、飞行器和地面站等功能单元.根据人类参与该应用的程度，本文将RIAU分为“人在环路中”和“人在环路上”两种类型.对于“人在环路中”的系统，人是系统的关键要素，通常由人承担了与图像处理相关的工作，如判断图像中否包括了特定事件以及该事件的严重等级等.人的参与降低了系统的技术复杂性，但使系统具有如下缺点：反应速度缓慢、应用质量不一致和网络通信带宽要求高等.对于“人在环路上”的系统，人只负责管理系统和进行决策，不再参与执行具体的应用功能如图像识别、不同功能协同等工作，从而能够大大提高系统反应速度，保证应用质量的一致性，并能较低系统造价.显然，由于“人在环路中”系统由人来承担关键的图像处理工作，人的负担重且难以保证工作质量，故它是一种相对低效、反应慢的系统；而“人在环路上”系统由计算机处理图像相关任务，故它是一种高效、反应快的系统，因此这种类型的RIAU系统具有更为广阔的应用领域.但它对图像处理能力也有了更高的要求.值得庆幸的是，由于基于人工智能(AI)的图像处理技术的发展，许多基于神经网络的图像处理算法提供的许多功能已经达到了人类专家相似或更高的水平，从而为这种系统提供了广阔的发展空间.本文下面讨论在人在环路上RIAU系统的设计方法与相关技术.

引入基于AI图像处理导致RIAU系统是计算密集型的，计算单元通常要采用计算能力强大的图像服务器甚至服务器集群来支撑相关图像处理算法.某些计算速度快、重量轻专用AI图像处理芯片的问世，为发展RIAU系统提供强大支持，即使嵌入式系统也能驱动该芯片作为计算单元以提供所需的图像处理服务.根据提供实时图像处理的计算单元的位置，RIAU可以分为地面计算和机载计算两种模式.所谓地面计算是指无人机将拍摄的图像信息传输到位于地面的图像服务器，待其处理后再将相关信息传输回无人机，以继续应用的后继任务.图像服务器置于地面是因为无人机载重量受限，无法将服务器放置在无人机上的缘故.根据地面图像服务器的具体位置，还可以进一步地将其分为云计算和边缘计算两种情况.前者是指服务器位于数据中心，后者是指服务器位于无人机的附近.所谓机载计算是指实时图像处理的计算单元位于无人机上，这必然要求计算单元满足计算能力强、重量轻和能耗低等要求，通常需要计算单元采用嵌入式系统加专用图像处理芯片的技术.

本文研究主要包括：设计分析了人在系统上RIAU系统的工作流程，重点研究了地面计算模式和机载计算模式的性能特点；研究了基于机载计算模式的RIAU系统的实现技术，讨论基于深度神经网络的图像目标检测方法和实现技术；最后，对比分析了基于边缘计算和机载计算两种原型系统的关键性能参数.

本文其余部分的组织结构如下.第2节概述相关工作.第3节重点分析人在环路上的RIAU系统.第4节设计了边缘计算和机载计算的RIAU系统.第5节讨论了基于深度神经网络的图像目标检测系统.第6节试验了原型系统并分析了试验数据.第7节总结了全文.

2 相关工作

无人机图像应用可以有非实时应用与实时应用之分.在无人机非实时应用中，无人机仅充当收集数据的角色，文献[4]提出了一种改进型的Viola-Jones算法，将道路方向调整方法与原Viola-Jones算法相结合.配备摄像机的无人机先对一段公路录像30分钟，录像结束后返回起始点，然后处理录像以完成车辆检测.为了满足实时性要求，文献[5]提出了一个局域多智能体系统，该系统利用昆虫群体的热技术，其中每架无人机都配备一个图像传感器，捕捉无人机飞行区域的快照.限于无人机计算能力，所配备的图像处理软件仅能以一定的置信度来确定目标；地面控制站接收到多无人机发送的信息，通过融合它们的图像数据而对图像进行智能分类.文献[6]提出了一种利用机载平台和微型计算机进行运动车辆检测、跟踪与定位的方法，无人机配备单目摄像机和低成本传感器进行地理定位；配备的微型计算机Jetson TX1，运行YOLOv3目标识别算法来识别图片中车辆.文献[7]提出了一种完整的目标跟踪系统控制策略，它将目标跟踪问题分为3种模式：目标搜寻、目标跟踪以及目标丢失.针对每种模式，设计了相应的控制策略，实现了不同模式之间的切换.无人机上的计算单元具有Intel NUC、 3.1 GHz酷睿i7处理器、16gb内存和256gb SSD，配备高帧率摄像机PS3-Eye进行实时视频序列的捕获，配备ROS工具为所有运行算法提供接口.

通过对上述相关工作的分析可知，文献[5]中采用了机载计算模式以及边缘计算模式相结合的计算模式，机载计算模式先初步识别出目标物体，通过Wi-Fi将图片传送至邻近的地面控制站，再用边缘计算模式进行精确识别.文献[6]与文献[7]都采用了机载计算模式以满足实时应用需求，分别在无人机上部署了微型计算机Jetson TX1[6]，或在无人机上部署了Intel NUC,3.1 GHz酷睿i7处理器[7].然而，当前无人机实时图像应用的研究大都集中在具体应用的算法以及相应算法改进方面，而对无人机实时图像应用的计算模式、这些模式的优缺点、适合场合和实现技术等研究不多.例如，文献[8]讨论了使用大疆科技公司的S1000以及基于XAIRCRAFT Technology Co.的四旋翼X650 pro试验情况；文献[9]使用输入原始图像数据进行了模拟实验；文献[6-9]的研究重点是一种具体无人机图像应用，而不是无人机计算模式.根据实时图像应用的工作环境，选择合适的计算模式和关键技术，能够提升应用的实时性，这是本文研究的意义所在.

文献[10，11]介绍了无人机实时图像应用系统实现，文献[10]介绍了一种无人机巡逻系统，该系统由拼接模块与检测模块组成，拼接模块接受无人机捕获的视频作为输入，选择视频中的合适帧拼接形成全景图像，传至检测模块，检测模块使用Faster-RCNN模型检测对象，返回具有使用边界框突出显示的检测对象的全景图像.文献[11]提出了一种基于无人机的多车辆检测与跟踪框架，该框架可以用于车辆计数，并且可以同时处理固定背景和移动背景.其中系统由检测器、跟踪器以及多对象管理模块组成，检测器分为静态背景与动态背景两部分，跟踪器将跟踪所有检测到的车辆，多对象管理模块能够有效地管理跟踪车辆并且避免跟踪混乱.由文献[6-11]可分析出图像应用共同的功能为目标检测以及目标识别.因此，无人机实时图像应用系统都需要图片检测器与目标识别器；之后根据各应用的目标增加对应硬件，如文献[7]设置监测模块处理目标丢失情况，文献[11]增加了跟踪器完成目标跟踪任务，增加多对象管理模块，管理跟踪车辆，防止跟踪混乱.本文着重研究了无人机图像应用的基本系统的设计与实现，介绍了各部件的组成及实现技术，为实现复杂无人机图像应用系统提供了研究基础，具有重要意义.

3 人在环路上的RIAU系统设计

3.1 RIAU系统的组成

人在回路上的RIAU系统通常包括如下单元：嵌入式控制单元、拍摄图像的相机单元、处理图像的计算单元、传输控制信息或和图像信息的通信单元、控制无人机的地面站和承载相关设备的无人机.这些单元的主要功能如下：

相机单元：是RIAU系统获取图像信号的设备，通过程序或指令控制云台相机系统拍摄图像图片，并将它们存储在存储区或交付给通信单元.

计算单元：承担RIAU系统的图像处理任务，能够利用相关图像处理算法完成所拍摄图像图片的目标检测、模式识别等任务，并将计算结果反馈控制单元或地面站.

通信单元：承担RIAU系统控制指令、图像信息等的传输任务.地面站通过通信单元可将系统操作控制指令传输给无人机，控制无人机飞行和RIAU操作任务，相机单元也可以通过通信单元将图像图片数据传输给计算单元

嵌入式控制单元：是无人机上控制RIAU系统功能的设备，它根据所执行的任务逻辑，驱动相机单元、通信单元和无人机工作，完成特定的实时图像应用.

无人机：是承载RIAU系统部分单元并在任务区域飞行的设备.

地面站：是RIAU的控制中枢，它将人类的控制命令发送给无人机执行，并收集、存储无人机获取的信息.

以地面计算模式从无人机飞行区域实时检测出目标的任务为例，人在环路上RIAU的大致工作流程如下：

地面站向无人机控制单元发出执行实时图像应用的指令；

相机单元执行飞行现场实时拍摄任务；

无人机上的通信单元将图像信息传输给地面计算单元；

计算单元从现场图像中检测目标；

地面通信单元将目标检测结果传输给无人机，以控制无人机获取相关图像或继续后继拍摄；

地面站向无人机控制单元发出任务结束指令，无人机返航.

图1 地面计算模式RIAU系统的工作时序图Fig.1 Working sequence diagram of RIAU systems in ground computing mode

图1给出了上述RIAU系统主要单元的工作时序图，其中t1是地面站发送控制分组到无人机通信单元的时延，Δ1=t2-t1是相机单元工作时延，Δ2=t3-t2是无人机向计算单元传输图像分组的时延，Δ3=t4-t3是计算单元处理时延，无人机需要等Δ4=t5-t4时延才能收到计算单元得到的目标检测结果.可见，从相机单元获取图像到计算单元检测到目标，再到控制无人机做后继动作所需要的反应时间Δ约为：

Δ=Δ1+Δ2+Δ3+Δ4

(1)

由式(1)可见，为了增强RIAU系统的实时性，一是设法减小构成系统反应时延Δ的各个成分，二是根据每个阶段通信单元传输的数据量，采用性价比合适的通信技术，如Wi-Fi、4G或5G技术.下面分别讨论地面计算模式以及机载计算模式的相关技术.

3.2 地面计算模式

为了支持RIAU系统对图像的实时处理能力，计算单元必须要具备密集计算能力，为了快速、精确地检测目标可采用如YOLOv3深度学习网络，计算设备需要有强大的计算能力以减少Δ3.在地面计算模式中，通常由专用服务器作为计算单元，由此要为RIAU提供更宽的通信带宽.图2显示了RIAU系统的组成情况，其中图2(a)表示在云计算场景下的系统构成，图2(b)表示在边缘计算场景下的系统构成.

图2 RIAU系统组成Fig.2 Composition of RIAU systems

在云计算场景下，RIAU系统使用数据中心中的服务器运行特定算法作为计算单元.无人机通过通信单元接收到地面站发送的任务指令后，控制单元控制相机单元拍摄图像；然后将拍摄的图像信息通过通信单元传输到数据中心中的服务器，服务器运行特定图像处理算法得到结果；接下来将处理结果信息再传输给无人机控制单元进行后继处理，例如调整相机单元参数或改变无人机航线等.

在边缘计算场景下，RIAU系统则将计算单元部署在无人机附近的地面站或车辆中.此时工作流程与云计算场景下的不同之处在于，将相机单元拍摄的图像信息通过通信单元传输到无人机系统附近的服务器进行处理，而不是传输到数据中心中.显然，后者的下传的图像传输和上传的处理结果的传输路径更短，因此传输时延(Δ2+Δ4)将比前者更小，传输的代价也更小.

在地面计算模式中，通信通常可以采用Wi-Fi技术或4G技术.在当前无人机技术中，地面站与无人机之间通信常使用Wi-Fi技术.因此，Wi-Fi技术不仅能够用于地面站控制无人机飞行，也能够用于传输将相机单元拍摄的图像或视频传输给地面站.尽管Wi-Fi是通信带宽宽、技术简单和价格低廉的技术，但它存在干扰大的缺点，当距离稍大时通信就可能中断.例如，某品牌无人机为使通信质量稳定、通信距离更远，采用了大功率的Wi-Fi技术，但它不仅会对其他无线通信系统产生严重干扰，而且当同时使用同款多台无人机时，这些通信系统将会互相干扰.

为了减小多无人机之间的通信干扰，同时满足无人机长距离通信的需求，通信单元可以使用4G甚至5G通信技术.当通信单元之间使用4G/5G技术交换数据时，就是利用移动通信系统的基站来沟通RIAU系统的两个或多个节点.由于4G网络通信带宽可达几十Mbps，可以满足大多数实时图像应用的需求.然而，在RIAU系统中使用4G技术，需要解决内网穿越问题[12]技术问题.这是因为IPv4网络地址缺乏，大多数互联网用户使用内部IP地址通过网络地址转换(Network Address Translation，NAT)技术上网.NAT技术仅允许内网用户访问因特网的公网IP地址，却不支持公网IP地址访问内网IP地址.如果RIAU系统采用4G技术通信的话，两个节点间的通信需要从一个内网的IP地址进入公网的穿越服务器，再利用该服务器提供的穿越服务才能进入另一个内网.

3.3 机载计算模式

机载计算模式与地面计算模式关键差异在于，前者将计算单元放置在无人机上而不再放置在地面.图2(c)给出了基于机载计算模式的RIAU系统的组成，其中由于计算单元在无人机上，因而免除了大量图像及其结果信息的长距离传输，因而也就完全消除了Δ2和Δ4.然而，这对无人机机载实时处理图像的能力也提出了更高的要求.目前已经研发出一些高效低耗的支持特定图像处理算法的专用商用芯片.借助于运行该芯片的计算单元，无人机就能够以机载方式承载计算能力强(浮点计算可达100GFLOPs)、重量轻(<60克)、功耗低(<1.2W瓦)的计算棒，从而减少了时延Δ3.

在机载计算模式中，无人机通过通信单元接收到地面站的拍摄命令后，控制相机单元拍摄，将拍摄的图像信息直接提交给机载的计算单元，计算单元处理图像并返回处理结果，继续后继工作.此时，式(1)可以简化为式(2)：

Δ=Δ1+Δ3

(2)

综上所述，表1中列出了几种RIAU计算模式的特点.

表1 两种RIAU计算模式的特点比较Table 1 Comparison of the characteristics of the two RIAU computing modes

可见，云计算模式由于计算资源充足非常适合计算复杂、各种不同算法的图像处理，计算的复杂性越高，其计算优势也就越大；但其数据传输的开销随着数据量的增加而增大，对带宽的要求也越高，成本也就越大.机载计算模式需要得到支持特定算法的专用芯片的支持，因此它支持的应用受限.在有专用芯片支持的前提下，其优势是有较低的系统时延和通信带宽需求，部署成本较低.云计算模式与边缘计算模式相比，后者的时延较低，而后者计算成本较高和通信成本较低.因此，需要根据实时图像应用的具体要求来选择适合的计算模式.

4 人在环路上的RIAU系统关键技术

4.1 原型系统组成

我们设计实现的一种RIAU系统的原型系统中无人机是一个基本设备，可以采用大疆公司DJ M100或基于开源飞控Pixhawk飞行平台，利用平台提供的SDK就能够控制无人机根据RIAU需求按预定航线飞行.

嵌入式控制单元采用了树莓派3B+.树莓派3B+运行Linux系统，具备ARM v7 1.2 GHz处理器和1 GB RAM，虽计算能力有限，但其具有编程开发便利、接口齐全、小巧轻便、成本低等优点，适合机载使用.通过在树莓派3B+编程，可将无人机、相机单元、通信单元和计算棒等综合为一体.

相机单元采用了一款电子吊舱产品，包括了可编程控制的一体化云台和相机.因此，当控制单元的程序控制无人机沿航线飞行时，RIAU程序控制相机在特定区域进行拍照，并将拍摄的图像送到计算单元进行目标检测，再根据检测结果调整控制，以完成实时图像应用.

通信单元是在基于高通QCA9563+QCA9880芯片的一款无线通信主板上编程实现的.该主板内置OpenWRT系统，集成了2.4/5GHz Wi-Fi和4G LTE网络通信芯片，具有128MB的内存以及16MB的闪存，支持多模式无线通信.2.4G/5G Wi-Fi芯片及其天线能够为无人机与地面站之间提供Wi-Fi通信，但通信距离仅限于约100m.4G LTE芯片及其天线能够利用电信公司的移动通信设施进行距离不限的通信，通信带宽可达几十Mbps，可用于无人机与地面站或云计算中心之间的通信.配置通信单元使其支持4G通信的方法将在4.2节中简要讨论.

地面站可采用强化版的便携式计算机，该机器上运行便于人机交互的可视化程序.为了支持边缘计算模式，该机的CPU应当足够强大，以能够运行YOLOv3算法，并采用数据库或地理信息系统来管理RIAU系统.

4.2 支持4G通信的通信单元

为使RIAU节点之间利用4G技术进行通信，通信单元配置LTE 4G模块，在SIM卡槽中插入4G手机卡并设置4G联网模式.此时，节点的内网IP地址要指向公共互联网上某数据中心(如阿里云)运行的一个虚拟专用服务器(VPS)，该服务器具有公共IP地址如IP1.借助于该服务器上运行的专用内网穿透软件(如FRP)，就能够利用4G移动网络实现RIAU节点之间的通信.图3(a)给出了一个原型系统的配置示例.图中为支持两个专网中地面站与控制单元间的通信，地面站的IP地址为192.168.10.10，控制单元的IP地址为192.168.2.10，控制单元与地面站中需要分别运行FRP客户机服务，它们借助于VPS服务器运行的FRP服务器服务实现穿越公网的通信.

为使FRP服务器程序工作，先要修改其配置文件，设置服务端IP地址和端口号、使用的协议等参数；其次要重启服务器程序.为使客户机程序工作，也要经过类似的初始化工作，修改其配置文件，设置本地IP地址、服务器IP地址和端口号、是否压缩、是否加密等参数，重启客户机程序，从而完成部署.

4.3 支持机载的计算单元

机载计算模式系统在硬件配置方面与边缘计算模式系统的大体一致，区别在于前者将计算单元放置在无人机上，而后者将计算单元放置在地面站中.为了实现在机上进行图像应用计算，可以利用Movidius 神经计算棒(Neural Computing Stick，NCS)[13]辅助计算.NCS是Movidius推出的基于Myriad 2视觉处理单元(Visual Processing Unit，VPU)的神经计算棒，是一种基于USB模式的加速设备，官方提供的API同时支持C/C++、Python语言以及SDK，目前SDK中主要支持Caffe以及Tensorflow两种深度学习框架.只需将NCS插入树莓派USB接口上，并安装Movidius NCS的USB驱动即可方便使用.使用NCS能够为计算能力不足的树莓派提供了深度学习加速功能，使树莓派也具有直接运行实时深度学习检测算法的能力，以满足实时应用的需求，保证了机载计算模式的图像处理的实时性.

图3 通信方式Fig.3 Methods of communications

图3(b)给出了机载系统的一种配置.在无人机上配备的基于树莓派的控制单元中，运行着航线控制及其RIAU程序，它们基于 DJ SDK开发，调用无人机飞控功能，将起飞、前后左右飞行、降落等指令转换成实际操作无人机的飞行动作.我们可以在控制单元中设置初始化检查程序、起飞程序、航线控制程序、实时图像应用程序以及返航与降落程序，整个RIAU过程无需人类干预.

作为RIAU的一部分，控制相机单元的云台控制程序也部署在控制单元中.云台控制程序需要根据具体RIAU而调试编写，其中包括如何拍摄图像、如何根据图像处理信息来控制云台三轴转动、如何控制相机改变焦距等，对于图像拍摄、处理方式的不同将使得RIAU丰富多彩，其应用领域十分广泛.为了满足RIAU实时性要求，本系统的计算单元主要有NCS充当，主要基于YOLOv3算法来提供目标识别功能(详见第5节).

作为RIAU的一部分，控制相机单元的云台控制程序也部署在控制单元中.云台控制程序需要根据具体RIAU而调试编写，其中包括如何拍摄图像、如何根据图像处理信息来控制云台三轴转动、如何控制相机改变焦距等，对于图像拍摄、处理方式的不同将使得RIAU丰富多彩，其应用领域十分广泛.为了满足RIAU实时性要求，本系统的计算单元主要有NCS充当，主要基于YOLOv3算法来提供目标识别功能(详见第5节).

如果有必要的话，图3(b)中的地面站主要用于实时干预RIAU的运行.地面站中内置通信单元，可利用4G网络与无人机上的设备进行通信，其IP地址设置为192.168.10.10.注意到图像处理在机上完成，因此4G通道的通信量较小.机上的相机单元、控制单元和通信单元通过以太网连接，它们可配置在同一子网，通信单元、控制单元和相机单元的IP地址分别为192.168.2.1、192.168.2.10和192.168.2.100.根据4.2节，地面站与无人机间的通信需要借助于互联网上的穿越机制.

5 基于深度神经网络的图像目标检测

对于人在环上的RIAU而言，计算单元能够代替人进行复杂图像处理功能是必须的.对于目前许多流行的基于无人机的实时图像应用系统而言，计算单元从图像中检测出特定目标非常关键，而无论计算单元是位于无人机上、网络边缘或数据中心.下面将以图像中检测特定目标为例，讨论了将YOLOv3(You Only Look Once)[14]算法用于RIAU应用的过程，YOLOv3是目前在准确率和速度方面都极为出色的一种算法.

5.1 制作数据集

为使YOLOv3高效运行，首先需要建立检测目标的训练数据集.为了尽可能精确地从图像中识别目标，我们可以从不同角度拍摄2000张包括目标的图片，并保存为.jpg格式的文件.其次，使用Labelme工具标注这2000张图片，每张图片对应生成一个xml文件.最后，将标注过的数据集按照6∶2∶2的比例划分为训练集、验证集和测试集数据文件.

5.2 输出结果

算法设置IsExist返回值，告知图片P0中是否存在目标Ts，其判断标准为：

(3)

如果识别过程中IsExis=false，表示P0中不存在Ts，无人机继续飞行拍摄；如果IsExist=true，表示P0中存在Ts，识别程序处理得图片如图4所示，程序以图片左下角为原点，下边界为X轴，左边界为Y轴建立直角坐标系，图片范围为(0,Ymax;0,0;Xmax,0;Xmax,Ymax).其中圆柱体假定为目标对象，中间框体即为目标识别的矩形边框，矩形四角坐标为：(xlu,ylu,xld,yld,xru,yru,xrd,yrd).最后识别程序将图片范围、识别矩形四角坐标以及Ts置信度ε(Ts的可信程度)保存在文件中.计算程序调用文件通过识别结果对无人机后续行动，如将识别的目标图像发送给地面站，或指示无人机对该识别的目标进行跟踪等.

图4 识别目标对象Fig.4 Identifing the target

6 试验及其分析

为了验证本文所提的RIAU设计方法，本节对基于边缘计算模式的RIAU原型系统和机载计算模式RIAU原型系统进行了试验，重点测试了在两种模式下实时图像应用对系统的性能要求.

试验中，我们使用大疆M100无人机搭载了实现控制单元功能的树莓派3B+、用于通信的网络板以及云台系统，Movidius 神经计算棒与树莓派USB口相连.对于边缘计算或云计算模式系统，地面站计算机运行YOLOv3算法来处理目标对象.

为了使试验结果具有一般性，本试验在分别机载计算模式和边缘计算模式下，根据式(1)中的4个成分对RIAU原型系统进行实际测量，以期对每个关键时间有数量级概念.

6.1 测量相机单元工作时延

相机单元工作时延Δ1是从控制单元向相机单元发送拍摄命令直至在控制单元内存得到图片持续的时间.试验用了测试10次的平均值作为测量结果，Δ1=0.055s.可见，相机单元工作有毫秒级时延.

6.2 测量计算单元处理时延

根据图片像素的不同，计算单元处理图片的时延Δ3有所不同.本系统相机单元拍摄的图片默认像素大小为4096×2160，考虑到各种不同实时应用的需求，本试验系统处理5种不同像素，即像素分别为640×480，1600×1200，1280×960，2560×1920和4096×2160的图片进行了测量.存储上述像素的图片所需要的内存分别为：60KB、200KB、300KB、500KB和1MB.

试验中分别在两种计算模式下测量识别图片中对象所需要的时间，为此，需要在两种模式下的程序中加入计时的功能.

图5(a)是5种像素不同的图片在两种计算模式下的图片处理时间.可见，图片的像素对机载计算模式中图片处理时间有较大影响，例如，在640×480像素下，处理时间约为0.044秒；而在4096×2160大小下，处理时间约为1秒，可能已经不适合某些要求较高的实时性应用了.在边缘计算模式中，由于服务器处理图片能力较强，图片像素对处理时间的影响较小.可见，对于图片处理要求一般的应用，可以采用机载计算模式的RIAU系统；而对于某些要求较高的应用，应当采用边缘计算模式的RIAU系统.

图5 试验结果Fig.5 Experimental results

6.3 测量通信单元传输时延

图片传输时延Δ2显然与图片像素和网络传输数列直接相关.试验分别在4G和Wi-Fi两种传输方式下对5种不同大小的图片进行了传输时延测量.采用4G传输方式时，系统的不同通信单元处于4G基站范围内，下载速度为2 MB/s～3MB/s.采用Wi-Fi传输方式时，系统的不同通信单元位于同一接入点范围内，下载速度为2 MB/s ～3MB/s.通信程序基于Socket实现图片的收发和计时.试验中分别对每张图片进行10次测试并取平均值作为结果.

图5(b)给出了5种大小的图片在两种传输方式下的传输时延.可见，在4G传输方式中，图片像素大于1280×960时，图片传输时延大于1秒，在像素大于4096×2160时，图片传输时延接近8秒.而在Wi-Fi传输方式中，各种图片的传输时延都小于1秒.

但由于Wi-Fi通信覆盖的区域较小，对于两个通信单元相隔较远时无法使用.为了测试Wi-Fi通信模式下，无人机的活动范围，设置了普通Wi-Fi下，图片传输范围试验.

试验中，使用路由器开启Wi-Fi，Wi-Fi下载速度为2MB/s～3MB/s，传输图片分辨率为640×480的图片，在此分辨率下，4G传输方式与Wi-Fi传输方式的传输时延相近，适合用作对比.

图5(c)给出了与路由器分别相距2米、5米、10米、20米及30米时，两种模式下传输分辨率为640×480的图片的传输时延，由于测量范围均在4G基站内，因此4G传输方式的传输时延是固定的；无人机与路由器相距20米内，Wi-Fi传输模式的传输时延比较稳定，相距20米-30米范围内，传输时延大幅度增加，相距超过30米后，无人机与Wi-Fi连接开始不稳定，出现连接中断现象.

结合测量结果可知，Wi-Fi传输模式的传输时延依赖开启Wi-Fi的站点服务范围，超过站点服务范围会出现丢包或中断现象，导致无人机丢失控制.而4G传输方式几乎没有距离限制，尽管它的传输时延较大.未来可以考虑使用5G技术，以降低图片传输时延.试验表明，命令传输时延Δ4的10次测试的平均值为0.015s.

6.4 测量系统反应时间

我们根据式(1)，分别对边缘计算模式和机载计算模式的系统，测量了系统反应时间.

图5(d)是测试机载计算模式系统和边缘计算模式系统所得的总时延曲线.可见，使用Wi-Fi传输的边缘计算模式以及机载计算模式的系统，其总时延随图片像素增加变化不大；而在边缘计算模式下使用4G传输，由于网络带宽限制，总时延随图片像素增加而迅速增加.结合前面的测量结果可知，RIAU系统的总时延主要取决于计算单元处理时延和通信单元传输时延，对像素高的图片其处理时延和传输时延尤为突出.

7 结束语

随着基于无人机的实时图像应用(RIAU)增加，设计实现RIAU系统面临着许多技术挑战.本文分析了人在环路上的RIAU系统的典型计算模式和应用的时延构成，分析了地面计算和机载计算两种模式系统的特点；研究设计实现RIAU系统的关键技术和基于YOLOv3算法的图像目标检测方法，建立了RIAU原型系统.试验结果表明，系统的总时延主要取决于计算单元处理时延和通信单元传输时延，对像素高的图片其处理时延和传输时延尤为突出；对于图片处理要求一般的应用，可以采用机载计算模式的RIAU系统；而对于某些要求较高的应用，应当采用边缘计算模式的RIAU系统；4G传输方式对于通信节点的位置没有限制，但对于像素较高的图片传输时间较大.