王义琼，王力超,2，李子阳，耿树巧,3

(1.安徽工程大学电气工程学院， 安徽 芜湖 241000；2.高端装备先进感知与智能控制教育部重点实验室， 安徽 芜湖 241000；3.中国科学技术大学工程科学学院， 合肥 230026)

1 引言

弹道跟踪系统是一种在弹丸等高速运动目标飞行过程中对其进行实时跟踪的系统，常用于兵器靶场测试研究[1]、空中目标监视[2]、校正导弹射击误差[3]等领域。传统的弹道跟踪系统主要采用2种方法跟踪弹丸等高速运动目标：一是沿弹丸运动轨迹方向，以一定间隔布置多部相机；二是在距弹丸安全距离处，放置相机和机架，通过旋转机架跟踪弹丸，此方法成本较低，但需要人为操控。

早期，光电经纬仪[4]常被用于跟踪测量导弹等高速运动武器，因设备结构复杂，其经济成本较高。随着高速视觉图像采集系统技术[5-8]的成熟，冯斌等人提出转镜同步跟踪技术[9]，在高速相机主光轴方向放置一面转镜，将弹道线位置上飞行弹丸的运动姿态反射到高速相机内实现同步跟踪，弥补了传统弹道跟踪系统难以实时采集高速运动目标的不足，但相机视场范围有限，未能根据弹丸的实际位置修正反射镜的偏转速度，并只局限于理论分析。

现有的基于图像信息的高速运动目标跟踪方法主要有帧差法[10-12]、光流法[13]、背景建模法[14-15]、相关滤波法[16-17]和深度学习法[18-19]。目前，绝大部分研究多通过特征点匹配[10-11]求解相机运动模型，利用相机运动模型补偿背景运动，以牺牲实时性的代价使帧差法[10-12]能够应用在动态背景场合。光流法[13]和背景建模法[14-15]主要应用于动态背景下的目标跟踪，但算法的跟踪效率较低。相关滤波法[16-17]跟踪速度可达到600帧/s，但精确性依赖于训练样本数以及手动提取的目标特征点，且跟踪目标信息预先已知。深度学习[18-19]算法学习能力强，但无法在所有的目标跟踪情况下，都保持出色的检测能力。

考虑到弹丸等运动目标在物平面近似做一维高速运动的特点，本文中设计了一套弹道跟踪系统，能够以约 1 000帧/s的速度快速采集和处理图像，该系统利用反射镜偏转，实现相机视场跟随目标运动而平移，使相机能够捕捉到较为清晰的图像，同时将反射镜的偏转角度传输给视觉算法平台，为后续目标跟踪算法从动态背景中检测出运动目标奠定了基础，并且目标跟踪算法添加了质心提取模块，以此来校正反射镜的偏转速度，实现目标位置的实时修正。

2 弹道跟踪系统总体架构设计

针对弹丸等高速运动目标运动轨迹在物平面上近似为一维的特点，本节设计了弹道跟踪系统，该系统由一部高速相机、一块反射镜、检流计、驱动器、控制器和视觉算法平台组成，高速相机固定不动，镜头始终面向反射镜，反射镜安装在检流计上，驱动器通过驱动检流计偏转，从而带动反射镜偏转，实现相机视场的平移，避免了云台的转动惯性。硬件设计结构如图1所示。该系统初始化状态为反射镜偏转至最大角度，并已知运动目标的初速度，则系统实时跟踪高速运动目标的工作流程如下：

图1 弹道跟踪系统架构

初始时刻，测速装置测得高速运动目标的运动速度，弹道跟踪系统接收到速度值，并根据反射镜、高速相机以及运动目标之间的空间几何关系，计算出反射镜的初始偏转速度ω1，反射镜立即以速度ω1偏转，高速相机采集第一帧图像，并将图像实时传输到视觉算法平台，当高速相机采集到第二帧图像时，视觉算法平台运行目标跟踪程序，检测出高速运动目标，并提取质心，计算目标质心与画面中心沿X轴方向上的差值，即质心水平偏差量，再经控制器，输送给驱动器，最后驱动器输出电压信号，调整当前时刻反射镜的偏转速度ωt(t=1,2,3,…；表示该时刻相机采集图像的帧数)，反射镜以调整后的角速度ωt继续偏转，高速相机采集下一帧图像，传送至视觉算法平台，重新定位目标质心，计算质心水平偏差量，更新反射镜偏转速度ωt，循环往复，直至高速运动目标消失在画面中。系统运行流程如图2所示。

在弹道跟踪系统实时采集高速运动目标图像过程中，相机并非平行放置于水平面，而是与水平面存在一个仰角α，该措施的优点在于：扩大相机采集图像的视场范围，避免相机本体遮挡目标或出现在采集的画面背景中。该设计系统的光路如图3所示。红色虚线分别表示从相机瞳孔发出的交于反射镜右上边缘和左下边缘的相机视线，经反射镜反射的相机视线如蓝色虚线所示，与物体所在平面交于两点，分别对应高速相机采集图像画面的左下端点和右上端点。由图3可知，与反射镜4个边缘点相交的相机视线决定了采集图像的画面尺寸，当相机以仰角α放置于水平面时，反射镜在[-θ,θ]内偏转时(θ取值受限于α)，反射的相机视线不会被相机本体所遮挡，即图像画面中不会出现相机。图3是反射镜顺时针偏转至θ1处的相机光路示意图，当高速运动目标水平向左运动时，反射镜逆时针偏转，相机视场左移，成像区域左移，静止的高速相机实时采集高速运动目标图像。

图2 系统运行流程

图3 相机光路示意图

3 弹道跟踪系统数学模型

3.1 弹丸运动位置模型

弹丸这类刚性高速运动物体，外形匀称，在高速运动过程中，其形状几乎不发生改变。本文中研究的是短程追踪，故可忽略重力、空气阻力等外力对目标运动速度以及运动轨迹的影响。因此，在反射镜可行的偏转角度范围内(像平面不会出现相机本体)，目标的运动速度近似不变。以反射镜中心点为原点，建立笛卡尔坐标系，令反射镜中心轴为Y轴，向上为正方向，当反射镜无偏转时，即反射镜镜面正对物体所在平面，将Y轴顺时针偏转90°，得到X轴。根据右手螺旋定则，确定Z轴位置。由于弹丸在物平面上运动轨迹近似为一维，其初速度可视为X轴方向的初速度。因此，在系统采集图像过程中，建立目标运动模型如式(1)所示。

(1)

式中：x0表示目标的初始位置横坐标；x表示经过t时间的运动后，目标的位移量。

3.2 反射镜偏转模型

相机通过反射镜的反射，实时采集高速运动目标图像，捕获的图像画面区域取决于当前时刻反射镜的偏转角度，为了能够捕获到高速运动目标并使其成像于画面中央，需实时调整反射镜的偏转速度，使当前时刻反射镜处于所期望的偏转角度位置。

一维高速运动目标图像采集模块的主要部件空间布局如图4所示。假设目标从右往左运动，以反射至画面中心的相机视线l1为例，已知其对应的入射相机视线用lm表示，反射镜中心点距目标所在的XOY平面垂直距离用L表示。若反射镜始终以速度ω1偏转，经过时间T后，反射的相机视线由l1旋转至l2，目标运动至图中第二帧位置。此时，相机视线lm投影在目标上面的视点横坐标xw与目标质心横坐标xc不重合，两点之间的水平位移为Δx。若反射镜仍继续以速度ω1偏转，当反射镜越接近XOY平面时，相同时间内，相机视点运动的路程越短，而目标运动的路程不变，则Δx的绝对值越来越大，当|Δx|超过采集图像画面尺寸的一半长度时，一维高速运动目标图像采集系统无法捕获到包含运动目标的图像。因此，本节提出的反射镜偏转模型先推算出反射镜的初始偏转速度ω1，在此基础之上，根据采集图像的目标质心和画面中心的质心水平偏差量，调整下一个帧间隔内反射镜匀速偏转的速度。

第一帧时，反射镜位于最大偏转角度θ1处，目标质心在X轴方向的坐标为x0，H表示目标距反射镜中心点所在的XOZ平面的垂直高度，高速相机采集图像的帧间隔为T，根据几何关系，推导出反射镜的初始偏转速度ω1的计算式(2)。

(2)

此后，反射镜以速度ω1匀速偏转，经过时间T，高速相机采集第二帧图像，此时，xc表示目标质心横坐标，xw表示画面中心点横坐标。当xcxw时，需增加反射镜偏转速度。因为本文中设计的系统采用高速相机，帧间隔T的单位为毫秒级，在时间T内，反射镜的偏转角度很小，对应的圆弧可近似于直线。因此，根据圆心角和圆弧的关系，由式(3)计算出质心偏差量对应的角位移Δθ2。

(3)

由光学原理推导出反射镜的偏转速度增量Δω2，如式(4)所示，并更新反射镜速度。在采集第二帧图像至第三帧图像的帧间隔T内，反射镜以式(5)中微调的速度ω2匀速偏转。

(4)

ω2=ω1-Δω2

(5)

同理，可求出在后续的每一个帧间隔T内，反射镜的偏转速度增量Δωt以及偏转速度ωt。

在高速相机采集图像的过程中，从第二帧开始，每一个帧间隔T内，反射镜匀速偏转的速度增量归纳为式(6)，在此时间T内，反射镜以式(7)中调整的速度ωt匀速偏转。

(6)

ωt=ωt-1-Δωt

(7)

其中，t=2,3,4,…表示图像的帧数。

图4 反射镜偏转示意图

4 目标跟踪算法

4.1 背景运动补偿

在系统采集图像过程中，由于反射镜实时偏转导致采集的图像背景动态变化。帧差法难以克服动态背景的干扰检测出运动目标。通过3.2节的分析可知，背景运动矢量与反射镜偏转角度有关。本节提出背景运动补偿模型，使帧差法能够应用在动态背景场合下的高速运动目标跟踪。

已知图4中的条件，假设相邻两帧图像分别为ft和ft+1，通过读取反射镜在相邻帧间隔T内的速度ωt，计算出反射镜的偏转角度θt,t+1。

θt,t+1=ωt·T

(8)

由于帧间隔T很小，背景在空间坐标系中的运动矢量近似为：以反射镜中心点为圆心，反射的相机视线lt长度为半径，圆心角为θt,t+1所对应的圆弧。背景运动矢量Δbx估计量如式(9)所示。

Δbx=θt,t+1·lt

(9)

在此基础之上，利用相机标定法，求解出像素坐标系和世界坐标系之间的长度比例关系P，则相邻两帧图像的背景运动补偿模型如式(10)所示。

(10)

其中，rect()表示矩形区域，矩形区域包含的像素点取决于背景的运动矢量。根据式(9)，求出在像素坐标系中，背景的运动矢量Δu=Δbx·P。由3.2节反射镜偏转模型可知，采集的相邻帧图像背景存在相同部分，第t帧图像左边区域的背景像素点与第t+1帧图像右边区域的背景像素点相同，摒弃掉两帧图像中存在差异的背景部分，即把动态背景转化为静态背景。式(10)中的Φ函数表示从当前帧中图像截取与相邻帧图像相同背景的rect(t)或rect(t+1)矩形区域，由于第t帧图像的[w-|Δu|+1,w]×[1,h]区域中的背景像素点在第t+1帧图像的任何区域中找不到重合部分，所以，定义rect(t)=(1,1,w-|Δu|,h)，前两个位置表示矩形左上角坐标(1,1)，w-|Δu|和h分别表示矩形的长和宽。同理可得，rect(t+1)=(|Δu|+1,1,w-|Δu|,h)。

4.2 目标跟踪

4.2.1目标检测

在对相邻帧背景运动补偿后，继而采用帧差法检测运动目标。由于本文中研究对高速运动目标的跟踪，为了进一步提高算法的高速性能，在不过度影响目标跟踪算法的抗噪性能前提下，分别对相邻帧图片二采样、四采样和八采样，比较采样后的结果，最终选择四采样。记采样后的相邻帧图片为Ft和Ft+1，则采样后的相邻帧图像背景运动矢量估计值为Δu/4，经背景补偿后，相邻帧图像分别为Gt和Gt+1。然后利用帧差法将相邻两帧图像相减，与阈值T比较大小。

(11)

若差分图像Dt(i,j)>T，则该点为目标点，并赋予该点像素值为1，否则该点为背景点，像素值赋值为0，所有目标像素点的集合即为检测的目标区域。

4.2.2质心定位

本文中采用几何矩法定位目标质心，xc、yc分别表示质心的横坐标和纵坐标。i、j为图像的行和列，Dt(i,j)表示二值化图像中坐标位置(i,j)处的像素值。目标质心定位如式(12)所示。

(12)

5 实验及结果分析

5.1 反射镜偏转模型仿真实验

本小节利用Matlab R2018a软件仿真验证反射镜偏转模型的正确性，实验环境为一台CPU配置是AMD3700X的电脑，内存为16G，操作系统为Windows 10 64-bit，所用的显卡是GTX750Ti。图5中的运动目标用矩形框代替，质心用“*”表示，运动目标以v0=-20 m/s的速度从右往左运动，高速相机仰角α=5°，L=40 cm，T=1 ms，红色虚线表示反射至画面中心的相机视线，蓝色虚线为其对应的相机视场中心视线，图5中从左到右分别为在不同时刻，相机视线与运动目标的位置关系。从图5可以看出，本文中设计的反射镜偏转模型能使高速相机实时采集包含运动目标的图像，每帧图像对应的相机视场中心点几乎和目标质心重合。图6表示反射镜偏转角度在[-20°,20°]，目标质心与画面中心的水平距离，从图中可以看出，在弹道跟踪系统距目标运动平面L约100 m时，质心水平偏差量绝对值的平均值约为15 cm。

图5 反射镜偏转模型实验结果

图6 质心水平偏差量绝对值变化曲线

5.2 相机视场运动条件下目标跟踪仿真实验

本小节通过一个公开的视频验证目标跟踪算法的精确性。图7中第一行是视频中相隔两帧图像，传统帧差法跟踪结果如第二行所示。第三行是本文中提出的目标跟踪算法检测结果。分析图7可知，视频中炮弹在物平面上近似做一维高速运动，相邻两帧中图像背景随着相机视场运动而发生动态变化，与传统帧差法相比，本文中提出的算法能够有效抑制背景噪声的干扰，检测出高速飞行的炮弹，红色“*”表示跟踪目标的质心位置。

图7 目标跟踪仿真实验结果

5.3 半实物跟踪实验

课题组搭建了一套基于目标位置实时修正的弹道跟踪系统，并自行设计研发了一套发射装置，通过千眼狼6F20型号的高速相机采集高速运动目标图像，实验目标为近一维高速运动的EVA材质的软性玩具子弹，其运动速度大约为30 m/s。图8和图9分别展示背景有规则以及无规则动态变化下玩具子弹的跟踪情况。从两幅图中可以看出，本文中设计的系统可以有效地跟踪近一维高速运动的目标，图中红色“*”表示提取目标的质心，红色圆圈表示画面的中心位置。由于子弹形状对称，颜色单一，像素值近似相同，故目标的“空洞”问题对质心提取误差影响较小。实验表明，根据提取的目标质心位置调整反射镜的偏转速度，能够在短程内跟踪高速运动目标。虽然提取的质心位置存在偏差，但实时调整反射镜的偏转角度，能够减缓误差积累。

图8 背景有规则变化场合下子弹捕捉实验

图9 背景无规则变化场合下子弹捕捉实验

6 结论

1) 开展了反射镜偏转速度实时修正的弹道跟踪系统研究，利用反射镜偏转角度和图像背景运动的关系，确定相邻帧图像的背景运动补偿量，提高了背景运动补偿的效率，提高了帧差法的抗干扰性。

2) 基于背景运动补偿的目标跟踪算法的弹道跟踪系统能够实时调整反射镜的偏转速度，使目标一直处于图像画面中心位置。