王 彦,谢晓方,张 磊,杨 建

(1.海军航空工程学院兵器科学与技术系,山东 烟台 264001,2.海军航空工程学院科研部,山东 烟台 264001)



·图像与信号处理·

三维动态红外视景仿真中噪声的模拟

王 彦1,谢晓方1,张 磊2,杨 建1

(1.海军航空工程学院兵器科学与技术系,山东 烟台 264001,2.海军航空工程学院科研部,山东 烟台 264001)

红外探测器噪声模拟是三维动态红外视景仿真工程开发中的难点。本文提出了一种红外探测器噪声的动态生成技术。首先通过对红外探测器图像序列进行计算和分析,提取出了图像序列的高斯随机噪声和椒盐噪声。然后在基于OSG平台开发的仿真视景中,采用渲染到纹理(RTT)技术为视口添加噪声“屏幕”。利用着色器技术生成高斯随机噪声并逐像素渲染,从而实现随机噪声的动态效果。椒盐噪声根据RTT纹理中的盲元标记直接在着色器中进行灰度渲染。仿真结果表明,本文方法模拟噪声的效果逼真,系统开销很小。本文方法为动态红外三维视景开发中的噪声模拟提供了一种可行的工程思路。

红外噪声模拟；高斯随机噪声；椒盐噪声；渲染到纹理技术；着色器技术

1 引 言

红外成像的噪声模拟是红外视景仿真中不可缺少的环节。红外成像噪声的种类繁多,如热噪声、光电子噪声等。红外成像噪声的成因及规律多已研究的比较深入[1]。一些学者对不同类型的噪声提出了相应的噪声模型[2-3],如比利时IMEC实验室的Bart Dierickx进行凝视型阵列盲元修正时,认为盲元在图像中的表现与椒盐噪声相同[4]。热噪声与温度噪声则表现为高斯噪声。在红外仿真中,模拟红外噪声并输入到红外探测器的仿真视景中,将使仿真效果更加逼真。

工程中,红外探测的动态视景仿真多是基于3D实时渲染引擎(平台)开发的,如Vage Prime,OpenGL,OSG等。对于红外动态3D视景,必须考虑噪声的影响,如美国的Vage Prime软件的红外传感器模块具有模拟探测器噪声的模拟功能。国内红外成像噪声仿真研究大多是对单幅的2D红外图像进行噪声添加,工程意义不大,而关于3D动态红外视景中添加噪声的文献十分稀少。这是由于在工程上,目前的三维视景渲染引擎的视景图像是由3D场景模型通过实时投影变换得到的,在机制上难以实现探测器视景噪声的添加。工程上常使用粒子法(随机画点)模拟视频噪声,但其系统开销很大,且不能准确反映红外探测器噪声的特点。

本文提出了一种3D动态红外视景仿真中添加和模拟噪声的技术,能够比较逼真地模拟凝视焦平面红外探测器的椒盐和高斯随机噪声。红外视景开发基于OSG开发平台。本文技术具有较强的工程实践意义。

2 红外探测器成像噪声以及提取方法

2.1 红外探测器成像噪声

凝视焦平面红外探测器的输出噪声按时空特性可分为随机噪声和固定图案噪声,其中随机噪声又可分为高斯噪声和泊松噪声。固定图案噪声主要表现为盲元[5]。

随机噪声出现的时间和位置呈随机分布,散布面大而密,在图像中表现为随机闪烁的颗粒。随机噪声可以被看作为平稳的白噪声。实际上,探测器噪声中的大多数噪声源,如热噪声、温度噪声、信号读出与处理电路中放大器噪声、A/D 变换的量化噪声以及输出噪声都是信号无关噪声且独立分布的噪声。若将这些噪声叠加,根据中心极限定理,它们的灰度分布为高斯分布,因此真实红外传感器中的随机噪声中,高斯白噪声占主要地位。基于此,因此本文模拟的随机噪声为高斯白噪声,其PDF为：

(1)

其中,x表示噪声的灰度值;μ为x的数学期望;σ为噪声灰度的标准差。

盲元是由于焦平面制作器件的不均匀性、掩膜误差、工艺以及具体成像光路等因素引起的。通常红外焦平面阵列盲元的判定有三种判据[6]:响应率判据、噪声判据和电平判据。这三种判据在实际操作时对操作条件的要求都比较高。实际上,对于凝视阵列,盲元可视为椒盐噪声,其形态类似于分布在图像上的胡椒和盐粉颗粒。在一副红外图像中,椒盐噪声总是数字化为最大(最小)值,其PDF表示为[7]：

(2)

如果b>a,则灰度值b在将在图像中显示为一个亮点,相反a将显示为一个暗点。

2.2 红外探测器成像的提取

逼真模拟红外噪声必须获得探测器输出图像中噪声的先验信息。在相同的环境下,将同一探测器对静止的同一目标连续采集的两幅图像相减,则景物和固定图案噪声可被消去,所得图像即为随机噪声[8]。然后基于随机噪声是高斯噪声的假设,可求解随机噪声图像的均值和方差。作为示例,图1给出了采用帧相减法提取的随机噪声图像。由于噪声灰度值较小,为便于显示,图1进行了直方图均衡化处理。

图1 随机噪声图像

对于椒盐噪声,根据其特点,可认为孤立像素点灰度值超过一定范围时即为盲元。因此,预先设定盲元的灰度阈值,再分析探测器的图像帧序列,超出阈值且固定出现的像素灰度可认为是椒盐噪声。

3 红外视景噪声模拟

3.1 红外视景噪声的数值模拟

红外噪声的数值模拟就是对噪声灰度以及分布规律进行模拟。根据第2节内容,固定图案噪声模拟相对简单,只需指定像素灰度即可。

对于高斯噪声,关键是产生高斯分布的随机数。比较简单的一种方法是首先生成均匀分布的随机数序列,然后再将其转换为具有高斯分布的随机数序列。我们采用线性求余法得到具有均匀分布的随机数,如公式(3)所示：

zi=(a×zi-1+c)%m

(3)

公式(3)是个迭代式,zi为得到的随机数；a和c为给定的常量,并且满足0

(4)

最后由公式(5)得出服从均值为ε,标准差为σ的高斯分布:

x=ε+σZ

(5)

上式中,均值和方差由第2节内容得出。

3.2 红外噪声的模拟实现方法

实际上,探测器视景噪声的模拟,就是将一定规律的噪声数值数变为显示屏像素的灰度值。由于国内没有成熟的红外视景生成软件模块,采用OSG引擎开发了红外视景仿真程序。OSG集成了OpenGL的所有功能,能够对模型的点、面元、体和纹理进行操作,具有强大的二次开发能力。

实际上,人眼是通过计算机屏幕来观察红外探测器成像的,探测器噪声和视景中的景物最终都混叠显示在屏幕上。基于此,为探测器视口添加一块专用于显示噪声的虚拟“屏幕”,并保证该屏幕与视口为正投影关系。采用RTT纹理技术为视口添加噪声屏幕。RTT技术相当于给探测器视口加载了一个带纹理图像的“镜头”,该“镜头”随探测视景的角度和位置变化而变化,始终覆盖探测器的视景。

为RTT相机添加一副空白纹理图像,调整纹理的透明度为零,使其不对探测器视景的景物成像产生影响。

进而,在RTT纹理图像的基础上添加高斯随机噪声。对于探测器阵列,每个像元都可能产生高斯噪声,并且随时间动态变化。这要求渲染引擎对所有像元的噪声绘制必须在一帧内完成,并且按每帧更新。这也是实践中进行随机噪声模拟的难点。采用着色器技术很好的解决了解决这个问题。OSG平台能够很好的兼容基于GLSL语言的着色器程序。顶点和片元着色器渲染流程如图2所示。

图2 着色器渲染管道

在顶点着色器(vertex shader)中,计算当前点的纹理坐标(vTexCoord)和产生随机数序列,并将纹理坐标和随机数作为瞬态变量(varying)传给片元着色器(fragment shader)。由于仅仅是对纹理进行操作,在计算纹理坐标时顶点坐标不需要乘上模型视景矩阵。在片元着色器中,使用2D纹理采样器(sample2D)对纹理像素值进行采样,语句如下:

uniform sample2D Image;

vec4 sample=texture2D(Image,vTexCoord);

由于高斯噪声是加性噪声,我们采用如下语句直接修改像素的灰度值：

sample+=vec4(x[i],x[i],x[i],blend)/blend;

gl_FragColor = sample;

其中,x[i]为高斯随机数。由于最终的成像灰度为景物灰度与RTT相机纹理灰度与透明度参数乘积的和,因此生成的噪声灰度应除以纹理透明度(blend)。需要注意的是,由于着色语言GLSL中的瞬态变量仅支持4维数组,因此,在顶点着色器中,我们使用多个4维数组存储随机数序列。这样每遍历一次顶点着色器,可产生一个高斯分布的随机数序列。使得每个探测器像元产生不同的服从统一的分布规律随机噪声值。

对于盲元,在RTT纹理中预先添加盲元标识点,并在着色器中设置盲元检测条件以进行盲元检测。当着色器中的采样器得到的像素灰度值等于标识点值时,认为该像素为盲元,进而将该像素的灰度和透明度设置为图像灰度的极值。

4 实验仿真

作为示例,图3给出了海洋红外仿真场景下使用本文方法与粒子法加入噪声的效果对比。表1给出两种方法的对仿真程序帧率的影响。

图3 噪声的效果对比

根据图3,本文方法模拟噪声的效果更为逼真,图像的像素点能够表现出动态起伏的随机噪声效果。根据表1,本文方法的系统开销很小,对仿真程序的帧率几乎没有影响,而粒子法对帧率的影响比较大。

表1 两种方法对帧速的影响

5 结 论

本文提出了一种三维动态红外视景仿真中添加探测器噪声的方法。我们为探测视口添加了一个用于模拟噪声的“屏幕”,并在该“屏幕”上进行噪声的生成和渲染。使用基于GPU的着色器技术实现了像素高斯随机噪声的动态效果并生成椒盐噪声。本文中的视景仿真程序基于OSG引擎开发。仿真结果表明,本文方法模拟的噪声效果比较逼真,而且系统开销很小。本文方法为3D红外探测器动态视景仿真提供了一种实用的工程方法和思路,对于基于其他3D引擎开发的红外视景仿真工程同样具有借鉴意义,因此,本文方法具有较强的工程实践价值。

[1] LIU Ning,CHEN Qian,GU Guohua.The noise analysis and inhibition technology of the driving circuits of the 640×512 IR Focal plane detector[J].Infrared Technology,2010,32(10):572-575.(in Chinese)

刘宁,陈钱,顾国华,等.640×512 红外焦平面探测器前端噪声分析及抑制技术[J].红外技术,2010,32(10):572-575.

[2] Thierry S,Remi G.Noise effect on interpolation equation for near infrared thermography[J].Metrologia,2013,50(3):208-206.

[3] Harris J G,Chiang Y M.Nonuniformity correction using the constant-statistics constraint:analog and digital implementations[C].International Society for Optics and Photonics,1997:895-905.

[4] US Infrared information analysis center and SPIE optical press.The infrared and Electro-Optical systems handbook(vol.4):Electro-Optical systems design,analysis and testing[M].Washington:SPIE optical engineering press,1993:132-137.

[5] TANG Lin,LIU Lin,SU Junhong.Modeling and simulation research of infrared image noise[J].Infrared Technology,2014(36):541-548.(in Chinese)

唐麟,刘琳,苏君红.红外图像噪声建模及仿真研究[J].红外技术,2014(36):541-548.

[6] CHEN Baoguo,FAN Yangyu,WANG Wei.Research on relations among defective element criterions of IRFPA[J].Laser & Infrared,2013,43(2):186-189.(in Chinese)

陈宝国,樊养余,王巍.红外焦平面阵列盲元判据的相关性研究[J].激光与红外,2013,43(2):186-189.

[7] Rafael Gonzalez,Richard Woods.Digital image processing[M].2nd ed.Beijing:Publishing House of Electronic Industry,2004:176-182.(in Chinese)

冈萨雷斯,伍兹,阮秋奇,等.数字图像处理[M].2版.北京:电子工业出版社,2004:176-182.

[8] YANG Xuerong,TANG Gewen.Analysis on character of digital video image[J].Practical measurement technology,2002,28(2):29-30.(in Chinese)

杨雪荣,康戈文.数字视频图像噪声特征分析[J].实用测试技术,2002,28(2):29-30.

Generation of noise in dynamic 3D infrared scene simulation

WANG Yan1,XIE Xiao-fang2,ZHANG Lei2,YANG Jian1

(1.Department of Ordnance Science and Technology,Naval Aeronautical and Astronautical University,Yantai 264001,China;2.Department of scientific cresearch,Naval Aeronautical and Astronautical University,Yantai 264001,China)

Simulation of IR detector noise is a difficult point in engineering development of 3D dynamic IR scene simulation.A dynamical generating technology of IR detector noise is provided.Firstly,by computing and analyzing the image sequence of IR detector,the random Gauss noise and salt pepper noise are extracted.In simulated scene based on OSG,a noise “screen” is attached to the view of the simulation scene by technology of render to texture(RTT).Then,to realize the dynamic effect,the random Gauss noise is generated and rendered by shader.The salt and pepper noise is directly rendered in shader according to the sign of blind pixels in RTT texture.According to the results,the effect of the noise simulated by this method is lifelike,and the system cost is little.The method provides a practical engineering reference for developing a dynamic 3D IR scene.

simulation of infrared noise;random Gauss noise;salt and pepper noise;render to texture;shader technology

1001-5078(2015)10-1277-04

王 彦(1982-),男,博士研究生,工程师,主要从红外仿真技术研究工作。E-mailwangyan101712@163.com

谢晓方(1962-),男,教授,博士生导师,博士,主要从事火力指挥控制,虚拟现实技术研究工作。E-mail:1394261448@qq.com

2014-12-31;

2015-01-14

TP79/P407

A

10.3969/j.issn.1001-5078.2015.10.026