APP下载

基于明亮区域和天空识别的图像去雾算法

2019-09-10于平平徐建格刘学孔秦亚龙常宇峰

河北工业科技 2019年3期
关键词:图像处理

于平平 徐建格 刘学孔 秦亚龙 常宇峰

摘要:针对去雾算法对存在大面积明亮区域的图像去雾效果不佳的问题,根据暗原色先验原理提出了一种基于明亮区域和天空区域识别的图像去雾算法。根据天空区域和明亮区域的特点,建立了明亮区域和天空区域的判别机制,对不同类型的图像采用不同方法求取大气光值;基于点暗原色原理,采用中值滤波和双边滤波对点透射率进行细化,与块透射率相比,采用点透射率可以保留更多的图像细节。结果显示,采用均方误差、峰值信噪比、可见边梯度和结构相似性4个参数作为图像去雾效果的客观评价指标,优化后算法的综合评价指标均优于其他算法。所提出的算法对不同类型图像均可取得较好的去雾效果,消除了去雾图像的光晕、块效应和天空区域过饱和现象。

关键词:图像处理;图像去雾;明亮区域;天空区域;点暗原色

中图分类号:TP391文献标志码:A

doi:10.7535/hbgykj.2019yx03009

文章编号:1008-1534(2019)03-0200-06

有雾天气下采集到的图像对比度下降、动态范围缩小、颜色发生偏移和失真等,对依赖于图像信息的计算机视觉系统造成很大的影响。因此,简单高效的图像去雾算法是计算机视觉领域的重要研究内容[1-3]。

近年来,基于图像退化先验知识的图像去雾算法层出不穷,NARASIMHAN等[4]通过在同一场景下获取多幅不同天气条件下的图像来计算当前场景的景深,以此来恢复无雾图像。SHWARTZ等[5]通过在同一场景下获取多幅偏振光图像来估计环境光和景深信息。以上算法虽在去雾中取得了较好的结果,但需要输入额外的图像,限制了其实际应用。TAN[6]提出增强图像局部对比度的方法实现单幅图像去雾,该方法恢复的去雾图像颜色易于过饱和。FATTLE[7]假设景物表面投影和透射率在局部区域不相关来估算景物表面的反射率,从而推演场景的透射率,该方法处理浓雾图像时会产生较大的失真。HE等[8]通过对大量的无雾图像分析,提出了暗通道先验理论,该方法在单幅图像去雾处理中取得了良好的效果,但算法采用软抠图来细化透射率,复杂度较高,迭代时间长,且在明亮区域会出现失真现象。蒋建国等[9]对暗原色先验算法进行分析,指出明亮区域估计的透射率偏小是导致图像出现色彩失真的根本原因,并提出引入容差机制对明亮区域的估值偏小的透射率进行纠正。曾接贤等[10]通过引入双边滤波和最大值滤波联合的方法对暗通道HE等[8]算法中的透射率有针对性地进行改进,有效地保持了图像边缘信息,但仍然存在计算量大、实时性差的问题。KIM等[11]提出基于四叉树子矩阵分割的分层遍历方法来计算大气光值,该方法将图像看作一个大矩阵,将大矩阵分为4个大小相等的子矩阵,对各子矩阵所有像素均值与标准差的差值进行评分,选取最高得分的子矩阵继续进行划分和计算,直至得到的子矩阵差值小于阈值,将该子矩阵中最大的像素值归一化后作为大气光值的估计值。

当图像中包含天空、白色物体、水面等明亮区域时,图像做去雾处理后会出现颜色失真现象,针对这一问题提出了一种基于明亮区域和天空区域识别的图像去雾算法。本文将图像分为3种类型:有明亮区域图像、无明亮有天空区域图像和无明亮无天空区域图像,并给出了判断条件,不同类型图像大气光值计算方法不同。同时利用点暗原色可以很好地保持图像细节的特性,采用点暗原色估计透射率,并采用中值滤波和双边滤波进一步细化透射率。实验结果表明,本文算法对不同类型图像均可取得良好的去雾效果,有效降低了天空区域的失真现象。

图像去雾的关键在于大气光值A和透射率t的求取,若这2个参数求取不当,去雾图像就会产生颜色失真。

2改进算法

2.1大气光值估计中存在的问题

已有的图像去雾算法大多基于HE等[8]的算法,选取暗原色图中像素亮度值最大的前0.1%像素的亮度均值作为大气光值A。但如果图像中存在明亮非天空区域(例如点光源或偏白色物体等)时,大气光值基本会落在这些明亮区域,导致错误估计[9]。为了对存在明亮区域时的大气光值进行更加准确的估计,王殿伟等[13]提出基于统计截断的大气光值估计方法。将亮度图像中大于平均亮度的像素点作为备选像素点,计算其均值μ和方差δ,选取在[μ-δ,μ+δ]之间的像素点,进一步计算其均值和方差,不断重复这个过程,直到备选像素点个数小于0.1N(N为图像总的像素点个数),此方法可以很好地过滤掉带有点光源或偏白色物体的非天空区域。但是,对于没有光源或偏白色物体的图像来说,此方法得到的A值偏小,当遇到像素值比A大的区域时,式(6)计算得到的去雾像素值J(p)将会大于等于255,即像素值达到饱和。如图1c)所示,天空全部饱和,甚至丢失了天空区域附近的图像信息,虽然王殿伟等[13]对天空区域做了容差修正,但依然改变不多,如图1所示。

根据以上分析可知:HE等[8]方法选取的大气光值A偏大,造成图像颜色失真,且如果图像中存在明亮区域,则会造成大气光值错误估计;王殿伟等[13]方法在图像中存在明亮区域时有效,但对于没有存在明亮区域的图像,大气光值估计偏小,造成图像部分区域过饱和。

2.2基于明亮区域和天空区域识别的大气光值估计

针对以上问题,本文提出了基于天空区域和明亮区域识别的大气光值计算方法。将图像分为3类:存在明亮区域图像、无明亮有天空区域图像和无明亮无天空区域图像。

通过观察可知,天空区域一般位于图像上方,具有面积大、灰度值较大且平滑的特点,明亮区域具有亮度值大且接近饱和的特点。基于此,通过平滑度和亮度值判断是否存在明亮区域和天空区域,判断步骤和大气光值计算方法如下。

3)首先进行明亮区域检测。根据明亮区域具有连续性且亮度接近饱和值的特点,明亮區域的识别条件为Va=255。若检测到Gi中有连续n个(本文中取n>2)模板方块满足该条件,则判断图像中存在明亮区域。大气光值也按照基于统计截断的方法求取。

4)若未检测到明亮区域,则继续进行天空区域检测。根据天空区域平滑且灰度值较大的特点,天空区域的识别条件为

在模板遍历中若检测有连续m个(文中取m>20)模板方块满足该条件,则判断图像中存在天空区域。选取该区域亮度最大的1%的像素灰度值均值Vmean,大气光值取0.9Vmean。

5)若未检测到天空区域和明亮区域,则图像为非明亮非天空区域。选取该区域亮度最大的1%的像素灰度值均值作为大气光值。

明亮区域和天空区域识别的二值化图像如图2所示。

2.3基于双边滤波的点透射率优化

传统的去雾方法是在局部范围内估计透射率,透射率在该局部内是恒定的,称为“块透射率”。分块的大小直接影响去雾的效果。当圖像块较大时,去雾图像中“光晕”较为明显,如图1b)中左上角树叶和山轮廓处;当图像块较小时,“光晕”现象减弱,光晕主要产生在场景深度突变的区域(图像的边缘)。因此,去除光晕的关键是细化边缘区域的透射率。WANG等[15]求取单个像素点R,G,B通道中的最小值作为点暗原色,由此求出的透射率称为“点透射率”。点暗原色图包含了更多的原始图像信息,更能清晰地反映原始图像中物体的边缘,但是却较为粗糙,而透射率图越平滑,恢复的图像细节越多。为了更接近实际的透射率和保留更多的图像细节,需要对透射率图进一步细化。因此本文对点透射率图先进行中值滤波,再采用双边滤波[16]进一步平滑和去噪。采用点透射率的表达式为

该方法得到的去雾图像可以很好地消除光晕和块效应,如图3d)所示,与图1c)相比,消除了左上角树叶和山轮廓处的光晕,降低了天空的块效应,如图3所示。

3实验结果分析

为了验证本文算法的有效性,选取有代表性的7幅图片,分别采用HE等[8]的算法、Retinex方法[17]、王殿伟等[13]的方法和本文算法进行去雾处理,其结果如图4所示。对比4组实验结果可以看出,采用HE等[8]算法处理后图像的饱和度较高,块效应较严重;Retinex方法处理后图像颜色显冷色调,饱和度不够;王殿伟等[13]的方法对无天空区域和有点光源时图像去雾效果较好,但是对于含有大面积灰白色天空区域的图像或者天空区域有云的图像,会出现过饱和现象,丢失一部分图像信息。本文算法克服了上述缺点,对含有明亮区域或大面积天空区域的图像采用不同的大气光值计算方法,得到很好的去雾效果。

为了客观评价去雾效果,本文选用均方误差、峰值信噪比、可见边梯度法和结构相似性4个方面评价去雾图像和原图像的差异。其中均方误差和峰值信噪比是评价像素上的差异;可见边梯度法是对比去雾图像与原图像的可见边数量

(e)和平均梯度比(r)来客观的评价图像的去雾效果,一般情况,e和r的值越大,表明处理后的图像边缘强度越大,数量越多。其计算公式为

4结语

提出了一种基于明亮区域和天空识别的图像去雾算法,根据明亮区域和天空区域的特点,建立判断机制,对不同类型的图像采取不同的大气光值计算方法。基于点暗原色估计透射率,采用中值滤波和双边滤波对点透射率图进行平滑去噪,保留更多的图像细节。实验结果,表明针对不同类型的图像,本文算法都有很好的去雾效果,有效降低了天空区域的失真现象。将进一步研究改善图像恢复过程中的失真现象,力求达到更好的视觉效果。

参考文献/References:

[1]吴迪,朱青松.图像去雾的最新研究进展[J].自动化学报,2015,41(2):221-239.

WUDi,ZHUQingsong.Thelatestresearchprogressofimagedehazing[J].ActaAutomaticaSinica,2015,41(2):221-239.

[2]TARELJP,HAUTIEREN.Fastvisibilityrestorationfromasinglecolororgraylevelimage[C]//IEEE12thInternationalConferenceonComputerVision.Kyoto:[s.n.],2009:2201-2208.

[3]GAOYuanyuan,HUHaimiao,WANGShuhang,etal.Afastimagedehazingalgorithmbasedonnegativecorrection[J].SignalProcessing,2014,103(10):380-398.

[4]NARASIMHANSG,NAYARSK.Contrastrestorationofweatherdegradedimages[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(6):713-724.

[5]SHWARTZS,NAMERE,SCHECHNERYY.Blindhazeseparation[C]//ProceedingsofIEEEComputerVisionandPatternRecognition.[S.l.]:[s.n.],2006:1984-1991.

[6]TANRT.Visibilityinbadweatherfromasingleimage[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Anchorage:[s.n.],2008:1-8.

[7]FATTALR.Singleimagedehazing[J].ACMTransonGrapics,2008,27(3):1-9.

[8]HEKaiming,SUNJian,TANGXiaoou.Singleimagehazeremovalusingdarkchannelprior[C]//IEEEConferenceonComputerVisionandPatternRecognition.[S.l.]:[s.n.],2011:1956-1963.

[9]蒋建国,侯天峰,齐美彬.改进的基于暗原色先验的图像去雾算法[J].电路与系统学报,2011,16(2):7-12.

JIANGJianguo,HOUTianfeng,QIMeibin.Improvedalgorithmonimagehazeremova1usingdarkchannelprior[J].JournalofCircuitsandSystems,2011,16(2):7-12.

[10]曾接贤,余永龙.双边滤波与暗通道结合的图像保边去雾算法[J].中国图象图形学报,2017,22(2):147-153.

ZENGJiexian,YUYonglong.Imagedefoggingandedgepreservingalgorithmbasedondarkchannelprior

andbilateralfiltering[J].JournalofImageandGraphics,2017,22(2):147-153.

[11]KIMJH,JANGWD,SIMJY,etal.Optimizedcontrastenhancementforreal-timeimageandvideodehazing[J].JournalofVisualCommunicationandImageRepresentation,2013,24(3):410-425.

[12]MCCARTNEYEJ,HALLFF.Opticsoftheatmosphere:Scatteringbymoleculesandparticles[J].PhysicsToday,1971,30(5):76.

[13]王殿伟,闫伟超,刘颖,等,基于暗原色先验的快速单幅图像去雾算法[J],计算机应用研究,2018,35(12):3836-3840.

WANGDianwei,YANWeichao,LIUYing,etal.Fastsingleimagedehazingalgorithmbasedondarkchannelprior[J].ApplicationResearchofComputers,2018,35(12):3836-3840.

[14]禹晶,李大鹏,廖庆敏.基于物理模型的快速单幅图像去雾方法[J].自动化学报,2011,37(2):143-149.

YUJing,LIDapeng,LIAOQingmin.Physics-basedfastsingleimagefogremoval[J].ActaAutomaticaSinica,2011,37(2):143-149.

[15]WANGZhongliang,FENGYan.Fastsinglehazeimageenhancement[J].ComputersandElectricalEngineering,2014,40(3):785-795.

[16]王一帆,尹傳历,黄义明,等,基于双边滤波的图像去雾[J].中国图象图形学报,2014,19(3):386-392.

WANGYifan,YINChuanli,HUANGYiming,etal.Imagehazeremovalusingabilateralfilter[J].JournalofImageandGraphics,2014,19(3):386-392.

[17]BISWASB,ROYP,CHOUDHURIR,etal.Microscopicimagecontrastandbrightnessenhancementusingmulti-scaleretinexandcuckoosearchalgorithm[J].ProcediaComputerScience,2015,70:348-354.

猜你喜欢

图像处理
视觉系统在发动机涂胶的应用
“课程思政”视域下职业学校《图像处理》课程教学改革实践
构建《Photoshop图像处理》课程思政实践教学路径的探索
基于图像处理与卷积神经网络的零件识别
基于新一代信息技术的Photoshop图像处理课程开发与建设
基于机器视觉的自动浇注机控制系统的研究
Photoshop软件图像处理技巧
基于二元全区间插值法的畸变图像矫正方法
机器视觉技术在烟支钢印检测中的应用