张承泓，李范鸣，杨 龙



基于FPGA的红外视频实时采集与显示系统

张承泓1,2，李范鸣1，杨 龙1,2

（1. 中国科学院上海技术物理研究所，上海 200083；2. 中国科学院大学，北京 100049）

目前市场上的红外视频输出设备大多数输出模拟视频信号，该信号的产生是由设备中的数字信号经D/A芯片转换的，但转换过程中必然会带来信号缺损或细节信息丢失，针对此情况，本文提出了基于FPGA的直接显示数字视频的方法。该系统采用FPGA编程技术，实现将红外探测设备采集到的非标准数字视频信号转换为标准的数字视频信号，并通过DVI转换芯片TFP410实现可直接在具有DVI接口的数字显示器上显示的视频图像，保证了实时观测监控目标位置和轨迹的需求，在红外视频实时监控系统中有很好的应用前景。

FPGA；DVI；视频采集；实时显示；红外视频

0 引言

为了能够实时监控目标的位置和轨迹，红外搜索跟踪系统往往需要配置显示设备，而显示设备可以通过相关技术实现视频图像的窗口化和字符显示，因此视频显示具有人机交互功能，在红外搜索跟踪系统中是不可或缺的。

当前，通过标准电视监视器来显示模拟红外视频信号输出是国内红外搜索跟踪系统的普遍用法。监视器的最大分辨率为768×576，可以显示PAL制和NTSC制的图像信号。由于近几年来越来越发达的红外探测器制造技术使得探测器的帧频变高，原有的标准电视监视器已经无法显示1280×1024甚至更高的分辨率的视频图像。因此采用更高分辨率的显示设备显得尤为必要。

一般电脑显示器具有模拟和数字两种接口。模拟显示在市场上用的比较多，但是它对数字图像信息的处理方式分为两种情况，一种是对于模拟显示设备，如CRT显示器等，可以直接显示由D/A转换器转换的模拟信号，另一种是数字显示设备，如液晶显示器等，由于它只能显示数字信号，所以需要A/D转换器对模拟信号进行转换，但是两次的转换必然会带来图像细节的缺损。因此，迫切需要一种可以直接传输和显示数字图像信号的系统来减少细节的损失。

目前应用普遍的数字显示器标准接口是DVI接口和HDMI接口，这两种接口的区别表现为HDMI接口除了传输数字视频信号之外也能传送音频信号，而红外告警跟踪设备中不需要进行数字音频的传输，所以本文选用了DVI接口，并介绍了其显示原理以及在红外告警跟踪系统中的实现方法。

1 系统设计

1.1 系统架构

红外视频实时采集与显示系统由5个模块组成，分别是光纤图像采集模块、红外图像转换模块、DDR图像乒乓缓存模块、DVI时序产生模块、字符信息显示模块。光纤图像采集模块通过Aurora协议[1]以100帧/s的速度从上级信号处理箱接收图像数据，红外图像转换模块用来将红外采集设备采集的原始图像转换为普通显示器可以接收的8位的图像数据，DVI时序产生模块用于产生VESA标准的时序输出，字符信息显示模块完成相关信息的显示，包括目标信息以及整个系统中的相关信息，两片DDR用来乒乓存储和读出视频数据，红外视频实时采集与显示系统框图如图1所示。

1.2 VESA标准时序产生

系统中采用TFP410支撑DVI接口标准[2]，此标准是基于TMDS（Transition Minimized Differential Signal）技术，TFP410集成了高速数字接口，TMDS编码器和3个差分驱动器，完成了24位像素数据和一些控制信号的接收，并通过编码算法把图像信号编码成适合在双绞线电缆上传输的高速、低电压、差分连续位流。

图1 采集显示系统设计框图

本系统中采用的红外探测器的规格为640×512的分辨率，探测器的帧频为100Hz，系统中从光纤接收红外图像数据的时钟频率为62.5MHz，为了完全显示该系统的红外视频图像[3]，采用的分辨率必须高于640×512，这里选用分辨率为800×600的视频格式，如表1所示，列举了几种视频分辨率为800×600视频格式，以及由系统图像的时钟频率为62.5MHz经过倍频分频后很容易产生40MHz或50MHz的时钟频率，分别对应的刷新频率为60Hz和72Hz，考虑到探测器的帧频为100Hz，在100帧中选出60帧相对更容易实现，因此，该系统选用800×600@60Hz的视频格式输出显示。

表1 行、场同步参数

DVI时序产生模块是该系统显示部分的关键所在，最终输出的行、场同步信号必须严格按照VESA时序标准产生相应的脉冲信号，本系统采用的时序标准按表1中的800×600@60Hz视频格式输出，图2为该系统按照表1中的时序标准输出的时序图。

1.3 DDR存储机制

由于红外告警跟踪设备采集的红外图像数据帧频为100Hz，而VESA标准中800×600时序里面没有刷新频率为100Hz的视频，且800×600@60Hz的视频格式每秒的刷新频率为60帧，因此，该系统并不能完整显示红外告警跟踪设备采集的100帧图像，最多显示60帧，为了尽可能多地显示不同帧数的图像，本文采用的方法是从相邻的5帧红外图像里面截取3帧，相当于从每100帧里面截取60帧进行显示。

图2 DVI时序

Fig.2 DVI sequence

视频输出800×600@60Hz的刷新频率为60Hz，与红外设备探测器100Hz的帧频速度不等并且视频数据的输入速率大于显示输出速率，为了防止数据的丢失，必须要对图像数据进行缓存操作。本系统采用两片DDR3缓存图像数据，采用图3中所示的缓存机制实现两片DDR乒乓操作，即从红外设备输出的前5帧图像中截取帧号为1、3、5的图像存储在DDR-A里面，从DDR-B里面读出数据显示，当红外图像的第6帧～第10帧图像到来时，截取帧号为6、8、10的图像存储于DDR-B中，再从DDR-A中读出前面存储的3帧图像。

图3 DDR缓存机制

Fig.3 DDR caching mechanism

1.4 图像转换

大多数红外设备探测器采集的红外图像数据深度为14bit或16bit，而常规显示器能显示的数据为24bit，所以常规显示器最多只能显示图像数据深度为8bit的灰度数据。要完成将14bit的原始红外数据输出显示到常规显示器上，必须对原始红外数据位宽进行压缩。本文采用如下方式完成原始红外数据从14bit到8bit的转换：

1）对每一帧的图像数据直方图均衡化；

2）对直方图均衡化处理后的每一帧图像数据求取灰度平均值Average、灰度最大值MAX和灰度最小值MIN；

3）映射关系如图4所示，将原始图像平均值映射到64，平均值到UPPER之间和平均值到DOWN之间分别进行线性映射，DOWN到MIN全部映射到0，UPPER到MAX全部映射到255。对原始图像进行直方图均衡化的目的是防止图像过亮或过暗，压缩原始图像的动态范围。

原始红外图像数据经14bit～8bit的转换后，使得原始图像的动态范围进行了压缩，势必会影响原始图像的质量，以及原始图像中的细节成分，使得原始图像的显示质量下降，为了提高红外图像显示的质量，尽可能多地包含原始红外图像的细节成分，可以对转换后的图像进行双边滤波处理，以增强图像中的细节成分，提高原始图像的显示质量。

图4 图像转换映射示意图

1.5 字符显示

为了实现红外视频中目标相关信息[4-5]以及红外告警跟踪系统中的相关状态信息，该视频实时显示系统具有字符显示的功能。要实现字母、数字、符号、汉字等首先需要自建字库，字库中存放的是需要显示字符的字模数据，利用FPGA内部的Block RAM，建立单口ROM，在初始化时可以将字模数据储存在ROM中，方便后面数据更新显示时调用。本系统采用如图5所示的字符显示方案：第一，建立字库ROM，存放要显示的字符自模数据。第二，为每一个要显示字符的区域开辟一块显存，具体实现方式为用FPGA内部Block RAM根据要显示字符区域的大小建立一个双口RAM，其数据端口A用于从RAM中读出数据显示，操作时钟为DVI时序的像素时钟；双口RAM的另一端口B用于写入要显示的字符的字模数据如图6所示。第三，根据需要显示的字符在字库中找到对应的字模数据存放的首地址，再将字模数据搬运至对应的显存RAM所对应的地址中。

图5 字符显示原理示意图

2 实验结果和讨论

该红外视频采集与显示系统[6-7]各项指标满足系统要求。红外视频采集采用光纤接口采集，理论带宽可达2.5Gb/s，实际采集红外图像帧频为100Hz，图像分辨率为640×512，每个像素采集深度为16bit，有效深度为14bit，实际图像传输速度为62.5MB/s；该红外视频采集与显示系统采用数字DVI接口输出，相比传统的采用模拟视频输出格式，视频显示更清晰，稳定性更高，可以长时间可靠稳定工作；同时采用FPGA可编程逻辑器件，通过更新FPGA内部逻辑，可以方便后续更改视频输出规模。

图6 双口RAM工作示意图

该红外视频采集与显示系统已成功应用于红外侦察告警的项目实例中，实现了对侦察告警设备中的信号处理箱输出帧频为100Hz红外图像的数据采集，完成了对图像数据的转化以及乒乓存储和乒乓读出显示，显示刷新频率60Hz。其有着良好的红外视频显示效果并实时更新视频及相关信息。该系统的实际应用效果图如图7、图8所示，图7为该系统实时显示模拟器输出的视频数据，图8为外场实验采集的实时视频显示效果图。

图7 实物及效果图

Fig.7 Physical and effect diagram

本系统基于FPGA硬件开发，用硬件平台实现了图像的直方图均衡化、图像深度的转换以及基于光纤通信的高速率、高帧频红外视频数据的采集与存储。采用TFP410实现视频的DVI格式编码，输出的视频数据格式能直接接入市场上常用的显示器，适应了视频显示的发展趋势。实验表明该视频采集与显示系统工作稳定，视频显示流畅，能实时显示项目中的相关信息，并能实时对视频中的目标进行告警以及目标相关信息的实时更新。该系统在红外搜索跟踪系统中能够对视频信号进行实时观察以及对目标的实时跟踪与监视，在红外视频实时监测系统中有很好的应用前景。

图8 外场实验效果图

[1] Xilinx.190 v5.3:5[M]. 2010.

[2] Video Electronics Standards Association. VESA and industry standards and guidelines for computer display monitor timing(DMT)[S].Version 1.0, Revision 11, 2007.

[3] 汪溢, 于乐. 基于 FPGA 的 DVI 视频接收器设计[J]. 航空电子技术, 2012(1): 30-33.

WANG Yi, YU Le. DVI Receiver design based on FPGA[J]., 2012(1): 30-33.

[4] 邱振飞. 基于FPGA的视频显示系统设计与实现[D]. 西安: 西安电子科技大学, 2014.

QIU Zhenfei. Video Display Design and Implementation Based on FPGA[D]. Xi'an: Xi'an Electronic and Science University, 2014.

[5] 孙志亮, 单金山. 基于FPGA的DVI显示在红外监视系统中的应用[J]. 激光与红外, 2008, 38(10): 1059-1062.

SUN Zhiliang, SHAN Jinshan. Application of DVI display in the infrared scouting system based on FPGA[J]., 2008, 38(10): 1059-1062.

[6] 张承泓, 李范鸣. 大面阵红外图像高速传输系统设计[J].红外技术, 2014, 36(12): 958-960.

ZHANG Chenghong, LI Fanming. High-speed transmission system of large-array IR Image[J]., 2014, 36(12): 958-960.

[7] 王宇, 汤心溢, 刘鹏, 等. 拼接型长线列红外双波段图像实时传输系统[J]. 红外技术, 2013, 35(2): 69-73.

WANG Yu, TANG Xinyi, LIU Peng, et al. A real-time transmission system of splicing long linear dual-band IR image[J]., 2013, 35 (2): 69-73.

Real Time Infrared Video Capture and Display System Based on FPGA

ZHANG Chenghong1,2，LI Fanming1，YANG Long1,2

（1. Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China）

Most of the existing infrared video devices output analog video signals, and the digital video is converted to analog video signal through D/A chip from infrared video can. However, in the process of digital signals converted into analog video signals, signal distortion or detail information loss will occur. For such situation, this paper proposes a direct digital video display scheme based on FPGA. The system can convert non-standard digital video signal to standard digital video signal, and through DVI chip TFP410, the output video image can be displayed by a DVI interface directly, ensuring the demand for real-time monitoring the location and tracking of the target, which has a good application prospect in infrared video real-time monitor system.

FPGA，DVI，video capture，real-time display，infrared video

TP391

A

1001-8891(2017)02-0143-04

2016-08-08；

2016-08-11.

张承泓（1985-），男，博士研究生，主要研究方向为图像处理及数据传输系统设计。E-mail：zch19850302@163.com。