徐 燕，任选宏，师靖鸿，宋 航，贾 婧

（北方自动控制技术研究所，太原030006）

0 引言

随着现代科学技术的发展，目标的机动性能不断提高，单单依靠单传感器实现对敌方目标运动状态作出精确估计，并实施精确打击已经无法满足现代化战争需求，必须应用包括微波、毫米波、红外电子援助设施（ESM）及电子情报技术（ELINT）等多传感器系统提供的多种观测数据。经过对观测数据进行优化综合处理，获取目标运动状态估计、识别目标属性、分析目标行为意图，并对态势和威胁进行评估，以此提供精确制导、电子对抗、作战模式和辅助决策等信息。

目前对多传感器精确配准算法、多传感器图像融合算法、多传感器目标识别算法、多传感器目标跟踪算法的研究已经很多，本文主要研究基于多传感器的目标协同跟踪系统，详细论述目标协同跟踪系统中图像监控软件的流程设计。

1 基于多传感器的目标协同跟踪系统设计方案

基于多传感器的目标协同跟踪系统由无人传感器平台、指挥控制中心、传输设备组成，通过系统所组建的通信网络进行指挥和信息的交互，组成图如图1所示，系统连接关系如图2所示。

图1 目标协同跟踪系统组成图

图2 目标协同跟踪系统连接图

无人传感器平台实物采用无人侦察车载平台作为载体，加装可见光传感器云台实现对战场的实时侦查；加载陀螺仪、行动控制器和GPS模块，实现对无人传感器平台的行动控制，以及对无人传感器平台的位置、运动方向、运动速度、车身俯仰角等状态的获取；加载图传设备和数传设备，实现实时侦查视频信息的传输和指控信息、状态信息的交互。

指挥控制中心主要由无人传感器平台监控席位、无人传感器平台控制席位、综合态势席位、图像处理模块组成，共同完成系统侦查视频信息的收集、目标图像获取、目标识别与跟踪、指令信息交互、状态信息交互、目标协调跟踪等。

1）无人传感器平台监控席位运行图像监控软件，主要接收、显示无人传感器平台实时侦查视频图像，获取目标图像信息发送给图像处理模块进行目标特征提取、目标图像匹配、识别与跟踪，并通过局域网与无人传感器平台控制席位进行信息交互，对无人传感器平台进行作战引导，指挥控制无人传感器平台进行协同作业；

2）无人传感器平台控制席位运行无人传感器平台控制软件，主要显示无人传感器平台实时状态，对无人传感器平台进行自动和人工两种模式的远程操控；

3）综合态势席位运行综合态势软件，用于规划无人传感器平台运行轨迹，且实时标绘显示无人传感器平台当前实际位置。本席位功能可扩展，且将来可以与当前陆军作战指挥控制系统对接；

4）图像处理模块的图像处理板由两片TI TMS320C6678八核DSP与一片Xilinx Virtex-6 FPGA构成，FPGA负责前级多路图像的整合拼接及缓存，DSP负责对图像进行算法处理，实现视频图像转换、目标图像特征提取、目标图像匹配、识别与跟踪。

传输设备由图传设备和数传设备组成，分别实现模拟视频图像信息的传输和状态信息、指令信息的交互。

基于多传感器的目标协同跟踪系统流程图如下页图3所示。独立目标跟踪时，综合态势席规划无人传感器平台运行航迹，无人传感器平台根据所规划的航迹信息实施侦查任务，并实时采集、传输侦查视频图像；图像处理模块接收到侦查视频图像后进行图像处理，然后发送给无人传感器监控席；无人传感器监控席接收、显示侦查视频图像，如果发现目标，则获取目标图像，将目标图像信息发送给图像处理模块，图像处理模块根据目标图像信息进行目标特征提取、目标识别、匹配与跟踪，最后将跟踪结果添加当前实时视频图像中，发送给无人传感器监控席；无人传感器控制席实时接收无人传感器平台状态信息，实时接收无人传感器平台监控席发出的实时目标位置信息，控制无人传感器平台运行姿态进行连续目标跟踪。协同目标跟踪分为接替目标跟踪和联合目标跟踪，是在独立目标跟踪的基础上，无人传感器监控席间进行信息交互，实现目标图像信息自动共享，无人传感器平台自动进行目标跟踪的过程。

2 图像监控软件设计与实现

图像监控软件组成如图4，包括视频图像处理模块、目标图像获取模块、工作模式转换模块。主要实现实时侦查视频图像的接收、显示、录制，与历史视频图像回放，实现目标图像获取、保存与发送，实现与无人传感器平台控制软件进行信息交互，实现与其他图像监控软件进行工作模式信息交互等。软件流程设计如下页图5所示。

图3 目标协同跟踪系统流程图

图4 图像监控软件组成图

其中，侦查视频图像要求实时性高，但允许一定丢包率，所以采用UDP传输协议进行传输，图像监控软件采用UDP传输协议进行接收；且一帧图像大小为1 280*1 024，数据量大，发送端采用分包发送方式发送帧图像，图像监控软件采用分包接收，再数据组合的方式进行接收；为提高视频播放速率及节约计算机资源，视频图像实时显示采用微软公司创建的多媒体编程接口DirectX技术；视频记录时，可根据用户对视频图像信息的完整性的不同要求，采用分帧保存方式，即每帧图像可以保存为原始图像格式RAW格式，或采用AVI视频流格式；获取目标图像时，为保证目标图像数据的精确性，采用根据目标图像在原视频图像中的位置直接从内存中获取的方式。

基于多传感器的目标协同跟踪系统有3种工作模式，分别是普通模式、接替模式和协同模式。普通模式指各无人传感器平台单独进行侦查行动，进行目标识别、匹配与跟踪；接替模式指一台无人传感器平台成功跟踪目标，其图像监控软件发出接替指令后，另一台无人传感器平台根据前一台无人传感器平台跟踪结果和目标信息，继续对原目标进行识别、匹配与跟踪；协同模式指一台无人传感器平台成功跟踪目标，其图像监控软件发出协同指令后，所有无人传感器平台自动识别跟踪同一目标。

2.1 普通工作模式

各图像监控软件间不进行信息交互，实时接收、显示各自所监控的无人传感器平台采集的侦查视频图像，然后在侦查视频图像中获取目标图像信息，并发送给相应图像处理板进行目标特征提取、目标识别、匹配与跟踪。如果匹配跟踪成功，图像监控软件显示跟踪结果，即在实时侦查视频图像中标注目标图像，并将目标位置信息发送给无人传感器控制软件，无人传感器控制软件根据目标位置信息实时调整无人传感器平台运行姿态，保持对目标的持续跟踪状态。

图5 图像监控软件设计流程图

2.2 接替工作模式

一台无人传感器平台（被接替无人传感器平台）采用普通工作模式成功跟踪目标，其图像监控软件实时显示跟踪结果。当根据目标运动方向及在视场中的位置判断目标将离开此无人传感器平台跟踪范围时，图像监控软件向在该目标运动方向的另一台无人传感器平台（接替无人传感器平台）的图像监控软件发送接替指令和当前目标图像信息，向无人传感器平台控制软件发送接替指令。接替无人传感器平台的图像监控软件接收到接替指令和当前目标图像后，向其图像处理板发送目标图像，图像处理板进行目标图像特征提取、目标识别、匹配与跟踪。跟踪成功，则图像监控软件显示目标跟踪结果，在侦查视频图像中标注目标图像位置，即接替跟踪成功，接替无人传感器平台持续跟踪当前目标；匹配失败，则在图像监控软件当前状态中显示目标匹配失败，即接替跟踪失败。

2.3 协同工作模式

一台无人传感器平台采用普通工作模式成功跟踪目标，其图像监控软件实时显示侦查视频图像并在视频图像中标注目标图像位置。当根据目标运动速度、轨迹及在视场中的位置判断目标运动速度快且运动轨迹多变时，图像监控软件通播协同跟踪指令和当前目标图像信息。各图像处理板接收目标图像信息后进行目标特征提取、目标识别、匹配与跟踪，各图像监控软件实时显示跟踪结果，各无人传感器平台开始实时跟踪目标。

3 实验结果

实验条件：3台无人侦察车（无人侦察车1、无人侦察车2、无人侦察车3）、3块图像处理板（图像处理板1、图像处理板2、图像处理板3），3个无人传感器平台监控席（无人传感器平台监控席1、无人传感器平台监控席2、无人传感器平台监控席3）、1个无人传感器平台控制席、1个综合态势席、1套图传设备、1套数传设备、1个交换机、1辆银灰色汽车、1辆白色汽车、1架无人机。

3.1 试验1：普通工作模式

试验过程：

1）银灰色汽车以一定速度沿曲折小路行驶；

2）无人侦察车1采用普通工作模式进行战场侦查，无人传感器平台监控席1显示实时侦查视频图像；

3）当银灰色汽车行驶至无人侦察车1云台视场内，无人传感器平台监控席1获取目标图像，将目标图像发送给图像处理板1；

4）图像处理板1进行目标特征提取、目标识别、匹配与跟踪，并将跟踪结果信息加入实时视频图像信息中，发送给无人传感器平台监控席1；

5）无人传感器平台监控席1显示实时视频及目标位置，并将目标位置信息发送给无人传感器平台控制席；

6）无人传感器平台控制席根据目标位置信息实时调整无人侦察车1运行姿态，保持对目标的跟踪状态；

7）无人传感器平台监控席1记录实时视频图像，暂停跟踪显示历史记录图像。

试验结果：

试验结果如图6所示。当银灰色汽车运动速度小于目标协同跟踪系统对目标的反应速度时，目标协同跟踪系统可以较好地实现普通工作模式下的目标识别、匹配与跟踪；图像监控软件视频图像处理模块、目标图像获取模块、工作模式转换模块运行正确。

图6 普通工作模式下的目标跟踪结果

3.2 试验2：接替工作模式

试验过程：

1）白色汽车以一定速度沿曲折小路行驶；

2）采用普通工作模式，无人侦察车1成功跟踪目标（白色汽车），无人传感器平台监控席1实时显示侦查视频图像及目标图像位置；

3）当白色汽车可能脱离无人侦察车1跟踪范围时，无人传感器平台监控席1向位于目标行驶方向的无人传感器平台监控席2发出接替工作模式指令，并将当前目标图像发送给无人传感器平台监控席2；

4）无人传感器平台监控席2接收到接替工作模式指令后将转换工作状态，接收到目标图像信息立即转发给图像处理板2；

5）图像处理板2进行目标特征提取、目标识别、匹配与跟踪，并将跟踪结果信息加入实时视频图像信息中，发送给无人传感器平台监控席2；

6）无人传感器平台监控席2显示实时视频及目标位置，并将目标位置信息发送给无人传感器平台控制席；

7）无人传感器平台控制席根据目标位置信息实时调整无人侦察车2运行姿态，保持对目标的实时跟踪状态；

8）无人传感器平台监控席2可记录实时视频图像，暂停跟踪显示历史记录图像。

试验结果：

试验结果如图7所示，无人侦察车2可以成功接替无人侦察车1，对无人侦察车1成功跟踪的目标进行再次持续跟踪；图像监控软件视频图像处理模块、目标图像获取模块、工作模式转换模块运行正确。

图7 接替工作模式下的目标跟踪结果

3.3 试验3：协同工作模式

试验过程：

1）无人机以一定速度飞行，且运动轨迹多变；

2）采用普通工作模式，无人侦察车1成功跟踪目标（无人机），无人传感器平台监控席1实时显示侦查视频图像及目标图像位置；

3）当根据目标运动速度、轨迹及在视场中的位置判断目标运动速度快且运动轨迹多变时，无人传感器平台监控席1发出协同工作模式指令，通播当前目标图像信息；

4）无人传感器平台监控席2、无人传感器平台监控席3接收到协同工作模式指令后，将转换各自工作状态；

5）图像处理板2、图像处理板3接收到目标图像信息后，进行目标特征提取、目标识别、匹配与跟踪，并将跟踪结果信息加入实时视频图像信息中，发送给无人传感器平台监控席2、无人传感器平台监控席3；

6）无人传感器平台监控席2、无人传感器平台监控席3分别显示各自实时视频及目标位置，并将目标位置信息分别发送给无人传感器平台控制席；

7）无人传感器平台控制席根据各自目标位置信息实时调整无人侦察车2、无人侦察车3运行姿态，保持对目标的实时跟踪状态；

8）无人传感器平台监控席2、无人传感器平台监控席3可分别记录各自实时视频图像，暂停跟踪显示各自的历史记录图像。

图8 协同工作模式下的目标跟踪结果

试验结果：

试验结果如图8所示，无人侦察车1、无人侦察车2、无人侦察车3可以很好地协同跟踪运动速度快且运动轨迹多变的目标。图像监控软件的视频图像处理模块、目标图像获取模块、工作模式转换模块在各无人传感器平台监控席运行正确。

4 结论

本文设计的基于多传感器的目标协同跟踪系统，主要由无人传感器平台、指挥控制中心、传输设备组成。该系统能够在复杂的战场环境中实现对动态目标的独立或联合监控与跟踪，为进一步研究基于微波、毫米波、红外、可见光等混合多源传感器的目标协同跟踪系统提供一定的参考价值。设计的图像监控软件经实验验证，流程设计合理，功能完善，能够很好地满足基于多传感器的目标协同跟踪系统需求，为后续系统研究奠定了基础。