李 健,刘歆浏

(中国兵器装备集团自动化研究所， 四川 绵阳 621000)



【装备理论与装备技术】

目标二次提取法在高帧频视频跟踪器上的应用

李 健,刘歆浏

(中国兵器装备集团自动化研究所， 四川 绵阳 621000)

为了提高光电跟踪系统的目标探测精度和系统响应速度，采用基于Camera Link接口的高清高帧频数字相机作为目标传感器，以DSP+FPGA作为核心处理器，采用目标二次提取法设计出高帧频视频跟踪器；此视频跟踪器结合DSP和FPGA在数据处理上的优势,将图像跟踪算法进行分解，FPGA通过硬件方式并行流水实现图像采集、图像预处理、图像存储、目标一次提取粗定位、图像叠加与显示等功能，DSP完成对目标二次准确提取；经实验验证,各功能单元达到预期效果，所设计的视频跟踪器图像处理能力强，满足实时、高精度的要求。

Camera Link；FPGA；DSP；电视跟踪器

视频跟踪器在高速导弹制导、机载武器系统、星体跟踪以及工业自动化等领域得到了广泛的应用[1]。视频跟踪器接收摄像机(可见光或红外)的视频信息，对输入的视频图像进行采集、存储、显示及目标探测处理，实现对感兴趣的目标进行识别及稳定跟踪。早期可见光摄像机输出为标清PAL制式模拟视频格，分辨率为720×576。随着传感器技术的不断发展，高清摄像机已很普遍，分辨率达到1 920×1 080，甚至更高[1]；在高清分辨率下帧频也达到数百帧。此类相机多采用Camera Link作为输出接口。摄像机分辨率和帧频的提高提升了视频跟踪器的探测跟踪能力，但更大图像数据对视频跟踪器数据处理能力提出了更高的要求。

为了适应高清高帧频相机的大数据量图像处理，设计了一款基于Camera Link接口的高帧频视频跟踪器，此视频跟踪器的图像输入采用差分数字接口，相比于模拟视频，图像数据不易受干扰，避免了AD转换造成图像数据损耗和传输延迟；同时，此视频跟踪器以FPGA+DSP为核心处理器，综合FPGA和DSP在数据处理方面的优势，极大提高了跟踪器的运算能力，保证了目标探测跟踪的实时性。

1 Camera Link接口和相机

Camera Link是一个工业高速串口数据的连接协议，是在Channel Link技术标准的基础上发展而来的，该接口具有开放式的接口协议，使得不同厂家既能保持产品的差异性，又能互相兼容。它在传统LVDS 传输数据的基础上又加载了并转串发送器和串转并接收器，利用SER/DES(串行化/解串行化)技术以更高的速度发送数据。

Camera Link标准使用LVDS传输技术，每条链路需要2根导线。驱动器接收28个单端TTL/COMS数据信号和1个时钟信号，28个数据信号以7∶1的比值被串行发送，也就是5 对LVDS信号通道上分别传输4组LVDS数据流和1组LVDS时钟信号，即完成28位数据的同步传输只需要5对线。

采用德国Basler公司生产的acA2000-340 km相机输出作为视频源，对其进行图像采集、处理、显示等功能设计。相机参数：传感器2 /3英寸，逐行扫描CMOS，有效像素2 048×1 088，像元尺寸5.5 μm×5.5 μm，帧频配置为280 fps，支持外部电平触发或软件触发，镜头接口C，供电电压12 V，数字视频输出格式采用Camera Link Full X8-Y1模式。

2 视频跟踪器组成及工作原理

2.1 视频跟踪器组成

视频跟踪器硬件架构如图1所示，采用altera公司Stratix II系列FPGA及TI公司C6000系列芯片作为系统核心处理器，FPGA和DSP均外接DDR2 SDRAM存储器用作图像缓存，Camera Link接口为8tap Full模式，通过两个MDR26连接器与相机连接，VGA模块采用ADV7125视频芯片，FPGA输出的24位数字信号通过视频D/A转换成3路RGB模拟信号提供给VGA显示终端，用于图像的实时显示。

2.2 视频跟踪器工作原理

视频跟踪器工作流程如图2，高帧频相机视频流通过Camera Link接口进入FPGA后，经过图像预处理模块可抑制图像噪声、增强对比度，得到品质较好的待处理图像；视频采集模块一方面将原始高清视频流进行分辨率和帧频转换以满足VGA显示的要求，另一方面采集目标跟踪区域图像传送至DSP；DSP在基于FPGA目标一次提取的基础上进行目标的二次提取，完成目标的二次提取后，DSP将目标脱靶量传回FPGA内部的叠加控制器，叠加控制器根据目标脱靶量信息显示目标跟踪波门及相应的字符叠加信息；VGA时序控制器产生VGA标准时序信号用于控制视频显示。

图1 视频跟踪器硬件架构

图2 视频跟踪器工作流程

3 视频跟踪器逻辑及软件设计

3.1 视频采集与显示

根据Camera Link协议，对8tap Full模式相机，LVDS视频信号经过转换芯片DS90CR288A后输出信号包括8通道并行视频信号A、B、C、D、E、F、G、H；视频同步信号：行同步信号LVAL、数据有效信号DVAL、帧同步信号FVAL以及像素时钟PCLK。

FVAL为高电平表示当前视频帧有效，FVAL与LVAL同时为高电平表示当前行输入有效，FVAL与DVAL 同时为高电平表示当前视频数据有效，视频数据和同步信号的关系如图3所示。

图3 Camera Link视频流时序图

前面已提到，摄像机视频信号经过转换后，生成8通道并行视频数据。从图4可以看出，当视频分辨率为2 048×1 088 时，8个通道视频数据按列方向依次分布，对任意一个视频通道而言，其分辨率为256×1 088。因此，DVAL信号一个周期内，其指示数据有效的高电平时间应是256个像素时钟周期。

图4 多通道视频流格式

视频采集模块主要完成两个任务：一是采集跟踪区域图像数据存入FPGA片上存储器并传送给DSP；二是将原始视频图像经过分辨率和帧率转换以适配VGA显示。不管哪种任务，采集模块都应先根据同步信号FVAL、LVAL、DVAL生成视频有效行计数器、有效列计数器、帧计数器，其中，行计数器范围为1～1 088，列计数器范围为1～256，利用此计数器定位视频图像坐标。Camera Link视频数据是多通道并行输出，其采集方式也有别于传统的逐像素点输出数据的视频采集。

本设计中，摄像机输出视频分辨率为2 048×1 088，VGA显示器分辨率为1 024×768，为了适配显示器分辨率且不改变原始图像比值，对输入视频分别进行隔行和隔列抽取得到分辨率为1 024×544的图像分辨率，显示端视频上下用黑色填充，填充区域用于字符叠加显示。显示区域如图5所示。

图5 VGA显示区域分配

3.2 目标一次提取

目标一次提取是基于FPGA完成的，充分利用FPGA处理时并行流水的特点，在目标搜索阶段进行全帧图像搜索，在目标跟踪阶段对跟踪框内图像进行目标搜索，跟踪窗位置和大小根据当前工作状态通过DSP解算后自动设定。

进行空域目标提取的一般思路是先对输入图像求阈值，按此阈值对图像进行二值化操作，最后对二值化图像提取分割出的目标并计算目标位置及几何尺寸。如果目标提取算法在DSP上通过C语言编程实现，即便将算法优化，至少也得缓存一帧图像才能计算出目标信息。在FPGA上自动搜索目标时，通常假设目标一般都比较远，目标能在视场内完全成像，前后两帧图像灰度信息变化不大，因此常将当前帧图像求取的阈值用于下一帧图像的分割，进而实时地求取二值图像并获取目标信息，避免了视频处理中的图像缓存过程，也满足了实时性的需要。

基于FPGA的阈值提取基于前后两帧视频图像灰度信息变化不大的假设，当成像发生突变的时候，这种处理方式存在潜在隐患，因此，提出了一种改进的目标提取方法，动态求取阈值，并利用此动态阈值分割并刷新目标信息。为简化描述，先假设：搜索窗内背景相对比较单一，目标X方向成像≥24像素，视频信号目标对比度≥10%，目标灰度值>背景灰度值。基于此假设，本文的目标提取算法实现流程如图6所示。

图6 动态阈值目标提取算法流程

图6中，diffVal可根据经验设定(与视频信号目标对比度有关)，也可通过图像灰度分布自动求取，其取值大小代表了目标与背景的灰度差值。实现目标一次提取算法时作了以下假设，即“目标灰度值>背景灰度值”，因此，为了使图像跟踪器自动地搜索目标，应增加目标与背景灰度统计模块(本文不作叙述)，以判定目标灰度值比背景灰度值的分布情况，若目标灰度值低于背景灰度值，则在算法的输入端将视频做反相处理，从而实现对亮/暗目标的自动判断。本文目标提取算法将串行数据处理方式运用到FPGA的流水处理过程中，在阈值的动态更新基础上实现了目标的实时提取，省去了图像二值化过程，整个处理过程与视频流完全同步。

3.3 目标二次提取

在3.2节中提到一个假设，即“目标X方向成像≥24像素”。结合多通道数据的特点，当满足“目标X方向成像≥24像素”的条件时，按照8通道计算，在单通道上X方向的目标成像≥3像素，接近单通道目标检测的最小像素值。因此，在3.2节的假设条件下，FPGA对任意通道进行目标一次提取均可搜索到目标位置，根据图5所表示的视频流数据格式很容易换算成全分辨率下的目标位置，由于这种提取方式并未考虑到目标的多通道边界关系，导致目标一次提取得到的目标信息精度不高。因此，3.2节的方法只能实现对目标的粗定位，要得到精度更高的目标信息，有必要对目标进行二次提取。

在3.1节中提到，目标采集的任务之一是“采集跟踪区域图像数据存入FPGA片上存储器并传送给DSP”，跟踪区域即在跟踪状态下，目标的搜索区域，此区域根据上一帧的目标跟踪位置外推而来。DSP获取到全分辨率下的跟踪区域的图像，在3.2节的目标位置引导区域搜索目标，采用形心算法实现对目标中心和边界的精确定位。形心算法公式如下所示：

3.4 实验效果

经试验验证，在相机配置为：分辨率2 048×1 088，帧频200 Hz，在1.5 km处采用本文所设计视频跟踪器对大疆精灵3(尺寸≥50 cm)无人机进行跟踪时，满足X方向≥24像素，Y方向≥2像素，目标像素面积≤1/4视场且目标在视场内完全成像的条件，可实现对运动目标的稳定跟踪，跟踪精度高，实时性好，实验效果如图7所示。当目标尺寸过小(目标X方向像素数≤视频通道数)时，目标不能在每个数据通道上都能成像，导致目标提取时可能存在信息缺失，目标尺寸过大(目标像素面积≥1/2视场)时，目标数据量过大，处理的实时性差。

图7 视频跟踪器实验效果

4 结论

本文以Camera Link接口的高清高帧频数字相机作为输入，采用动态阈值分割及目标二次提取的方法，以DSP+FPGA作为核心处理器，设计出高帧频电视跟踪器。此电视跟踪器结合DSP和FPGA在数据处理上的优势，实现了视频采集、显示及目标的稳定跟踪。试验表明,各功能单元达到预期效果，所设计的视频跟踪器图像处理能力强，满足实时、高精度的要求。虽然该视频跟踪器已应用于实际项目中，但仍是基于简单空域背景的目标检测跟踪，下一步主要研究对复杂背景下运动目标的实时跟踪。

[1] 邹春勇.基于CameraLink接口高清图像跟踪器设计[J].科学技术与工程，2012， 12(19)：4672-4675.

[2] 王鸣浩.基于Camera Link接口的高帧频数字图像采集显示系统[J].微电子学与计算机，2011，28(3):149-152.

[3] 贾建禄.基于Camera Link的高速图像采集处理器[J].液晶与显示，2010，25(6):914-918.

[4] 孔令磊.高帧频红外目标检测跟踪算法的研究与实现[D].成都:电子科技大学,2010.

[5] 戴明.高帧频电视跟踪器[J].光学精密工程，1993，1(5):83-87.

[6] 彭先蓉.高帧频电视跟踪算法的研究[J].光电工程，1998，25(增刊):47-50.

[7] 朱江，李跃江，邹 效. 一种车载光电平台图像跟踪系统设计[J].兵工自动化，2015(2):34-36.

[8] 王欢,白杨,江晟.某型导引头半物理仿真系统设计[J].四川兵工学报，2015(5):24-27.

(责任编辑 周江川)

Application of Target Two-Time Extraction Method in High Frame Rate Video Tracker

LI Jian， LIU Xin-liu

(Automation Research Institute of China South Industries Group Corporation, Mianyang 621000, China)

In order to improve the target detection accuracy and system response speed, a high definition and high frame rate digital camera based on Camera Link interface is used as the target sensor, which uses the DSP+FPGA as the core processor, A high frame rate video tracker is designed by using the two-time extraction method. This video tracker combines the advantages of DSP and FPGA in data processing, decomposing the image tracking algorithm. FPGA, through the hardware parallel pipeline, achieves image acquisition, image preprocessing, image storage, first target extracting coarse positioning, image superposition and display functions, DSP is used to finish second time accurate extraction of the target. Experiment proves that the functional units can achieve the desired effect, and the designed video tracker has the strong image processing ability, and can achieve the trait of real time and high precision.

Camera Link; FPGA; DSP; TV tracker

2017-02-25；

2017-03-20

李健(1984—)，男，硕士，工程师，主要从事图像处理研究。

10.11809/scbgxb2017.06.014

format:LI Jian，LIU Xin-liu.Application of Target Two-Time Extraction Method in High Frame Rate Video Tracker[J].Journal of Ordnance Equipment Engineering,2017(6):66-69.

TP491；TJ765

A

2096-2304(2017)06-0066-04

本文引用格式：李健,刘歆浏.目标二次提取法在高帧频视频跟踪器上的应用[J].兵器装备工程学报，2017(6):66-69.