APP下载

基于Retinex的改进夜视高光抑制视频增强算法∗

2018-07-10

计算机与数字工程 2018年6期
关键词:高光直方图灰度

朱 俊

1 引言

随着多媒体技术与互联网技术的飞速发展,越来越多的图片和视频出现在日常生活和互联网中,因此车载视频随之飞速发展,车载图像增强对人们交通生活具有很重要的作用。相比于白天图像,夜间视频图像具有很多外在干扰因素。夜间图像的增强是完成智能系统在夜间正常工作的重要环节,考虑到夜间的光照环境较为复杂,采用普通的照相机或摄像机拍摄的图像一般都会出现强光源造成的高光区域,这些高光区域的存在,使得所拍摄到的图像因光照的动态范围过大,导致了场景画面出现过暗、照度不均、存在强光干扰的情况,噪声影响大,特别是强光源(如车灯、路灯、闪光灯)对夜间图像的增强造成了更多的困难。但是目前的图像增强算法虽然对图像中暗区细节的增强效果很明显,但是对于图像中高光区域却没有明显的抑制作用,严重影响了光源附近的高光区域的细节显示和驾驶人员直接观察效果。

2 多尺度Retinex(MSR)算法

根据Retinex理论,对于图像S中的每个点(x,y)有:

其中:S指拍摄的目标图像;R表示物体的反射性质,即物体的本来面貌;L表示照射光。

多尺度Retinex(MSR)在单尺度Retinex(SSR)算法的基础进行拓展,增加了环绕尺度,能实现动态范围压缩和颜色高保真,具有更好的处理效果。

多尺度Retinex的基本形式是:

其中:(x,y)表示像素点在图像中的坐标;*表示卷积运算。N为图像中颜色通道的个数,N=1时,表示灰度图像;N=3时,表示彩色图像;i∈R,G,B。Ii(x,y)表示输入图像中的第i个颜色通道,Ri表示多尺度Retinex输出,F(x,y)为高斯函数,Wk表示第k个尺度的加权系数=1;当K=1时候,多尺度Retinex(MSR)特例化为单尺度Retinex(SSR),此时权重W1=1。

3 高光抑制算法

当用一幅图像作为输入数据时,经过该算法处理,分析图像中出现的高光像素,根据全局图像中像素,选定抑制参数和抑制模板,对高光像素进行抑制。

3.1 预增强处理

对于m*n大小的输入夜间图像 f(x,y)=r(x,y)·i(x,y)x=1,2,…m,y=1,2,…,n[2]。

其中i(x,y)为照射分量,由光源确定,r(x,y)为反射分量,由景物特性确定。

分离输入夜间图像的照射分量和反射分量,根据光照特性,使用一个可以保持边界轮廓信息的低通滤波器来估算图像的照射分量,即从输入夜间图像中估算的在点(x,y)上的照射分量值 i˜(x,y)为

其中为估计出的照射分量,f(x,y)为输入的夜间图像,a是最大权值,Sv(x,y)和Sh(x,y)分别为水平方向上和垂直方向上的边界检测器[3],其表达形式分别为

其中,δ为极小的正数,H是一个常数,根据公式可以估算反射分量 r˜(x,y)为

当估计的 i˜((x,y)=0 时,置 i˜(x,y)=ε,ε为大于0的数。

3.2 照射分量的增强处理

根据上述公式估计出的照射分量值的分布范围为,对照射分量处理采用改进型的gam-

利用改进型的gamma调整函数对照射分量进行增强:

其中,a(z(x,y))为权重函数,在对输入的夜间图像处理时,权重函数使用a(z(x,y))=z(x,y)2,参数γ∈[0.2,0.3]。

3.3 照射分量的线性对比度增强

对经过照射分量的处理后的照射分量i˜( )x,y,统计直方图,因为少量的低灰度级像素以及少量的高灰度级像素的分布,使得直方图的分布较为集中,因此影响直方图分布,但不影响视觉效果的灰度级进行归并,同时对照射分量进行对比度的线性展宽,计算公式如下[4]:ma函数构造映射曲线来进行曲线调整,在处理前先将照射分量归一化到[0,1]之间,即

其中i*(x,y)为处理后的照射分量,dlow和dhigh分别为增强处理后的照度分量i(x,y)的下饱和点和上饱和点,是根据其直方图统计统计得到的,下饱和点和上饱和点分别选取不影响视觉效果的可归并的最大低灰度级以及最小高灰度级的点。

3.4 反射分量的增强处理

选用sigomd函数[5]

其中,k∈[0.35,0.87],函数c(z)为权重函数,其表达式为

其中,a∈[0.35,0.62],b∈[1.05,1.2],d∈[0.7,1.5]。

反射分量r˜(x,y)的值增强时,采用改进型的sigmoid函数[6]构造的调整曲线进行曲线调整,即

照射分量与反射分量融合,得到预增强处理后的图像[7]即

3.5 抑制参数和范围的选取

抑制模板的大小就是一高光像素为dm×dm,dm为奇数的模板;

抑制范围为[cL,cH],是指需要被抑制的高光像素的灰度分布范围,其中cH为高光像素的最好灰度值,一般选择像素灰度值为图像Fˆ=[fˆ(x,y)]m×n的最大灰度值 fˆmax,cL为高光像素的最低灰度值,选择像素灰度值为0.6 fˆmax。

3.6 高光区域的抑制

首先,遍历预增强图像 Fˆ=[fˆ(x,y)]m×n,寻找其 中 的 高 光 像 素 p,p∈ Ωp,Ωp={fˆp=fˆ(x,y)|fˆ(x,y)∈[cL,cH]},然后待处理高光像素P为中心,套用抑制模板,在模板内寻找满足条件的次高光像素q;

次高光像素q满足以下条件:

1)次高光像素的灰度值必须小于高光像素的灰度值,即 fˆq< fˆp。

2)次高光像素的灰度值应该最接近高光像素灰度值,即灰度值差[8]:

其中,w为模板的宽度,fˆ(x,y)为预增强处理后的图像。

用次高光像素q的灰度值 fˆq替换高光像素p的 灰 度 值 fˆp,即 fˆp=fˆq,完 成 对 图 像Fˆ=[fˆ(x,y)]m×n的遍历,对高光区域进行一层抑制。然后,增大高光像素最低灰度值cL,即令cL=cL+1,缩小抑制范围[cL,cH],再遍历一次图像Fˆ=[fˆ(x,y)]m×n,完成对高光区域的一层迭代抑制,直到高光像素最低灰度值增加到与高光像素最高灰度值相等,即 cL=cH,结束对 Fˆ=[fˆ(x,y)]m×n遍历,完成对其高光区域的逐层迭代抑制。

3.7 直方图展宽

高光抑制后,图像的直方图出现了比较集中的、连续的一段的灰度级五香素分布,利用这些空灰度级,将图像像素灰度级进行重新分布,完成直方图展宽处理。

统计高光抑制后的图像[fˆ(x,y)]m×n的直方图hr((k),统计其概率分布[9]:

其中,Nk是图像中灰度级等于K的像素个数,图像的大小为m×n。

统计直方图中的空灰度级,即Nk=0的总个数n,并记录空灰度级的位置 w˜r(k),其中 k=1,2,…,n。根据插空规则计算空灰度级插空位置w˜r(k),选用灰度级等概率分布插空规则,进行等概率间隔的插入空灰度级,即每隔一定数量的像素插入一个空灰度级,一次来计算新的插空位置w˜r(k)。

首先统计出图像的直方图累积分布概率Pa(i):

然后计算插空比b:b=0.99/n,其中n为空灰度级的个数,最后获得新的插空位置w˜r(k)=i,i满足下式[10]:

得到了新的插空位置w˜r(k)后,如果出现几个插空位置在同一灰度级上会应为插空太多造成灰度级断层,影响最后直方图展宽的效果,为此,在两个插空位置之间设置一个最短的间隔dS,当w˜r(k+1)=w˜r(k)时,令 w˜r(k+1)=w˜r(k)+dS,依次类推。

在得到新的插空位置后,将n个空依次插空到wr(k)处,并更新灰度映射表h(i)如下:如果 w˜r(k)<wr(k),则:

如果 w˜r(k)>wr(k),则

如果 w˜r(k)=wr(k),则 h(i)不变;

根据灰度映射表,得到直方图展宽处理后的结果图像:

其中,fˆ(x,y)为经过高光抑制后的图像。

4 实验与分析

4.1 实验环境

本文为实现图像中高光抑制,需要对视频中的每一帧进行抑制处理,抑制算法复杂度较高,计算量较大,为了达到实时性要求,利用FPGA并行计算能力强的特点,在JESON-TK1平台上实现了1080P30视频的实时抑制算法,程序运算时间如表1。

表1 Retinex算法和本文算法运行时间比较(单位:ms)

4.2 实验结果和分析

图1、2分别为Retinex算法和本文算法在高光抑制后的效果,本文算法处理结果能较好的对图像中的高光进行有效抑制,改善图像效果,因此,在实时视频处理中,本文算法高光抑制比Retinex算法有明显改善。

图1 Retinex算法

图2 本文算法

5 结语

在夜间光照复杂的条件下,经过本文的算法能有效地实现图像视频中的高光抑制,本文提出的算法处理后能较好地提高图像质量,改善画质。同时在接下来的研究中,需要进一步加强图像中抑制区域的像素邻域质量。

[1]Inaba K,Murakami S,Suzuki M,et al.Crystal structure of the DsbB-DsbA complex reveals a mechanism of disulfide bond generation[J].Cell,2006,127(4):789-801.

[2]祝培,朱虹,钱学名,等.图像景物影像清晰化算法[J].中国图像图形学报,2004,9(1):124-128.

ZHU Pei,ZHU Hong,QIAN Xueming,et al.Image scene image clearness algorithm[J].Chinese Journal of image and graphics,2004,9(1):124-128.

[3]Tsai C-H,Chen B-J,Chan C-H,et al.Improving disulfide connectivity prediction with sequential distance between oxidized cysteines[J].Bioinformatics,2005,21(24):4416-4419.

[4]葛艳,赵瑞,高占江.基于TV模型和膨胀的图,修复方法研究[J].微型机与应用,2014,33(18):39-41,44.

GE Yan,ZHAO Rui,GAO Zhanjiang.Based on the TV model and the expansion of the graph,repair methods[J].Microcomputer and Application,2014,33(18):39-41,44.

[5]MCCARTNEY,EJ.atmoshphere.scattering by molecules and particles[M].New York:John Wiley and sons,1976.

[6]史延新.一种基于Retinex理论的图像增强算法[J].系统仿真学报,2009,21(4):1195-1197.

SHI Yanxin.An image enhancement algorithm based on Retinex theory[J].Journal of system simulation,2009,21(4):1195-1197.

[7]Schäffer A A,Aravind L,Madden T L,et al.Improving the accuracy of PSI-BLAST protein database searches with composition-based statistics and other refinements[J].Nucleic acids research,2001,29(14):2994-3005.

[8]丁虎.低能见度图像的清晰化处理研究[D].南京:南京理工大学,2010.

DINGHu.Research on the image processing of low visibility[D].Nanjing:Nanjing University of Science and Technology,2010.

[9]张远达.线性代数原理[M].上海:上海教育出版社,1980,216-235.

ZHANG Yuanda.Linear algebra theory[M].Shanghai:Shanghai Education Publishing House,1980,216-235.

[10]Fariselli P,Casadio R.Prediction of disulfide connectivity in proteins[J].Bioinformatics,2001,17(10):957-964.

猜你喜欢

高光直方图灰度
符合差分隐私的流数据统计直方图发布
采用改进导重法的拓扑结构灰度单元过滤技术
华裔面孔在东京奥运会上的高光时刻
天津港智慧工作平台灰度发布系统和流程设计
Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值
Arduino小车巡线程序的灰度阈值优化方案
用直方图控制画面影调
季后赛高光时刻多诺万·米切尔不服气
季后赛高光时刻安东尼·戴维斯值得尊重
季后赛高光时刻乔尔·恩比德没有遗憾