陈飞 刘云鹏

摘要：随着无人驾驶的快速发展，解决复杂环境下的交通标志、交通灯以及车道线的识别问题成为研究热点。为了保证后期检测和识别的准确与快速，较好地处理复杂环境下拍摄的视频图像极为关键。文章综述了雾霾、雨、雪等恶劣天气和复杂光线条件下图像处理方法，并且对其各种方法的优缺点进行了简单阐述。最后，总结了本次工作，展望了未来这一方向的发展。

关键词：复杂环境;恶劣天气;复杂光线;图像处理

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2021）36-0005-05

开放科学（资源服务）标识码（OSID）：

Overview of Image Processing in Complex Environment

CHEN Fei，LIU Yun-peng

（Zhejiang Wanli University， Ningbo 315100， China）

Abstract： With the rapid development of unmanned driving， solving the problem of recognizing traffic signs， traffic lights and lane lines in complex environment has become a research hotspot. In order to ensure the accuracy and rapidity of post-detection and recognition， it is crucial to deal with the video images captured in complex environment. In this paper， the image processing methods under severe weather and complex light conditions such as smog， rain and snow are summarized， and the advantages and disadvantages of various methods are briefly described. Finally， this work is summarized and the future development in this direction is prospected.

Key words： complex environment; bad weather; complex light; image processing

圖像处理是对图像进行某些操作，以获得增强图像或从中提取有用信息的信号处理方法。它输入的是图像，输出的是图像或与该图像相关联的特征。其方法有两种，即模拟图像处理和数字图像处理。前者是通过模拟方式对二维模拟信号执行图像处理任务，但在处理过程中容易产生噪声或失真之类的问题。后者是一种利用数字计算机来处理数字图像的算法，较好地避免了失真问题。随着计算机的迅猛发展，数字图像处理越来越受人们青睐。当下，图像处理一般指数字图像处理。常见的数字图像处理方法详见图1。

数字图像在拍摄过程中易受到诸多不可抗拒的环境因素，如：雾、雨、雪等恶劣天气和强光、昏暗等复杂光线。这些都会导致拍摄的图像质量变差，后期无法使用。因此，采用各种图像处理方法，复原出我们需要的、理想的、高质量的图像，具有重要实用意义。

1 恶劣天气的图像处理方法

恶劣天气时拍摄的图像往往伴有大量噪音，同时图像中也会出现遮挡其局部信息的雨线、雪花、雾层。因此需要利用各种方法进行处理，恢复出图像原貌。本小节主要对雾和雨、雪两类天气的图像处理方法进行简要阐述。

1.1雾霾天的图像处理方法

图像去雾的传统方法主要有两大类：基于图像增强方法和基于图像恢复方法。前者的主要方法包括直方图均衡化法、同态滤波法、小波变换法和Retinex系列法。它是通过对原图的对比度、灰度分布和色调等特征进行改善、提高图像的整体质量和清晰度，但此类方法忽略了图像退化和降质的问题。后者的主要方法包括基于大气光偏振特性法、基于先验信息法和基于深度信息法。该类方法则是从导致图像退化和降质的本源入手，利用物理中的大气散射模型，反解出原图像或光线反射率，从而达到改善图像质量的目的。随着深度学习的发展，基于深度学习的图像去雾方法也不断涌现。近年来每届国际知名会议[例如ICCV（国际计算机视觉大会）、ECCV（欧洲计算机视觉国际会议）、CVPR（国际计算机视觉与模式识别会议）]都有提到各种基于深度学习去雾方法（除此之外还有图像去雨、光线增强等方法），由于类别众多，故基于深度学习的方法不再进行细分。针对去雾方法的归纳总结详见表1。

1.2 雨、雪天气下的图像处理方法

雨、雪图像处理的目的旨在不影响图像原背景的前提下，对图像中的雨线、雪花进行去除。现有方法主要是基于优化方式的去雨和基于深度学习方式去雨。基于优化方式又分为三类：基于物理和数学推导的去雨模型法、基于图像处理知识法和基于稀疏编码、字典学习的方式。归纳总结见表2。

2 复杂光线的图像处理方法

在图像拍摄过程中，不可避免遇见各种各样的复杂光线环境。光线的强弱对其具有十分重要的影响，它会带给图像本质上的变化。光线强烈时，图像会局部出现亮光点;光线昏暗时，图像会大面积出现黑影;这都会使图像丢失局部信息，且在进行识别时因与之前的训练模板不一致，从而影响图像的特征提取，无法进行检测。复杂光线有多种，本文只针对处理高光和昏暗两种光线。

2.1高光下图像处理方法

高光图像处理的思路主要分为两种：一种是在拍摄前将极化滤波器放在摄像机镜头前，从而减轻高光对拍摄过程的影响;另一种是对拍摄出的图像进行去高光处理。本文只针对后者，后者的处理方法主要分为五大类，即传统高光去除算法、光照模型法、最大漫反射色度估计法、双边滤波器法和基于深度学习的方法。本小节对此进行了简单的归纳总结，详见表3。

2.2昏暗环境下图像处理方法

昏暗图像具有亮度和对比度低、整体细节辨识差等特点，使得得到的信息太少，进而无法进行特征提取与检测、识别。针对此类图像进行处理的方法主要有基于传统方式的非线性单调映射函数法、基于直方图法、Retinex系列模型和图像融合的方法。随着深度学习的发展，基于深度学习的昏暗图像增强研究也备受人们关注。以下是本文对其进行的简单归纳总结，详见表4。

3 结论与展望

复杂环境下的图像处理技术在提高目标检测准确率和实时性方面具有很大的促进作用。近年来大量学者关注复杂环境下拍摄图像的处理工作，而且随着计算机视觉的高速发展以及5G的快速普及，使用深度学习方法来处理这类问题已取得较好的成绩。未来如何使用较少的网络层数就能达到最佳的处理效果将会是一个新的研究热点。

参考文献：

[1] Yousuf M A，Rakib M R H.An effective image contrast enhancement method using global histogram equalization[J].Journal of Scientific Research，2010，3（1）：43.

[2] Lee J W，Hong S H. Brightness based on atmospheric scattering coefficient ratio Real time fog conversion and area translation Elimination method[J]. Journal of Korean multimedia Society papers，2016，19（1）：10-21.

[3] Yu L，Liu X B，Liu G Z.A new dehazing algorithm based on overlapped sub-block homomorphic filtering[C]//Proc SPIE 9875，Eighth International Conference on Machine Vision （ICMV 2015），2015，9875：987502.

[4] He J X，Xing F Z，Yang R，et al.Fast single image dehazing via multilevel wavelet transform based optimization[EB/OL].2019.

[5] Alharbi E M，Wang H，Ge P.A novel dark-channel dehazing algorithm based on adaptive-filter enhanced SSR theory[J].Journal of Computer and Communications，2017，5（11）：60-71.

[6] Liu M，Xu C.An ameliorative defogging algorithm based on the MSR[J].Applied Mechanics and Materials，2014，556/557/558/559/560/561/562：3483-3486.

[7] Zhang W D，Dong L L，Pan X P，et al.Single image defogging based on multi-channel convolutional MSRCR[J].IEEE Access，2019，7：72492-72504.

[8] 高雋，毕冉，赵录建，等.利用偏振信息的雾天图像全局最优重构[J].光学 精密工程，2017，25（8）：2212-2220.

[9] Tan R T.Visibility in bad weather from a single image[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2008，Anchorage，AK，USA.IEEE，2008：1-8.

[10] Sulami M，Glatzer I，Fattal R，et al.Automatic recovery of the atmospheric light in hazy images[C]//2014 IEEE International Conference on Computational Photography （ICCP）.May 2-4，2014，Santa Clara，CA，USA.IEEE，2014：1-11.

[11] Tarel J P，Hautière N.Fast visibility restoration from a single color or gray level image[C]//2009 IEEE 12th International Conference on Computer Vision.September 29 - October 2，2009，Kyoto，Japan.IEEE，2009：2201-2208.

[12] He K M，Sun J，Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25，2009，Miami，FL，USA.IEEE，2009：1956-1963.

[13] Li C L，Jia Q.Foggy day image sharpening algorithm based on depth of field estimation[C]//Proceedings of the 2018 International Conference on Advanced Control，Automation and Artificial Intelligence （ACAAI 2018）.January 21-22，2018.Beijing，China.Paris，France：Atlantis Press，2018.

[14] Qin X，Wang Z L，Bai Y C，et al.FFA-net：feature fusion attention network for single image dehazing[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908-11915.

[15] Yu S J，Ou W H，You X G，et al.Single image rain streaks removal based on self-learning and structured sparse representation[C]//2015 IEEE China Summit and International Conference on Signal and Information Processing （ChinaSIP）.July 12-15，2015，Chengdu，China.IEEE，2015：215-219.

[16] Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2013：914-917.

[17] Kim J H，Sim J Y，Kim C S.Video deraining and desnowing using temporal correlation and low-rank matrix completion[J].IEEE Transactions on Image Processing，2015，24（9）：2658-2670.

[18] Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744.

[19] Zhang Z， Wu L， Ma H D ， et al.Going Clear from Misty Rain in Dark Channel Guided Network[C].IJCAI Workshop on AI for Internet of Things，2017.

[20] Shi Z H，Li Y W，Zhang C Q，et al.Weighted Median guided filtering method for single image rain removal[J].EURASIP Journal on Image and Video Processing，2018，2018（1）：1-8.

[21] Son C H，Zhang X P.Rain removal via shrinkage-based sparse coding and learned rain dictionary[EB/OL].2016：arXiv：1610.00386[cs.CV].https：//arxiv.org/abs/1610.00386

[22] Deng S，Wei M Q，Wang J，et al.Detail-recovery image deraining via context aggregation networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：14548-14557.

[23] Shao F，Jiang G Y，Yu M，et al.Highlight-detection-based color correction method for multiview images[J].ETRI Journal，2009，31（4）：448-450.

[24] PingTan，Lin，Quan L，et al.Highlight removal by illumination-constrained inpainting[C]//Proceedings Ninth IEEE International Conference on Computer Vision.October 13-16，2003，Nice，France.IEEE，2003：164-169.

[25] Xu S C，Ye X Z，Wu Y，et al.Highlight detection and removal based on chromaticity[C]//Image Analysis and Recognition，2005：199-206.

[26] Tong K J. Research on Application of non Lambert surface imaging theory of machine vision in surface detection，2017.

[27] Tang Y P，Wu L J，Zong M L，et al.Research on identification of color structured light based on dichromatic reflection model[J].Advanced Materials Research，2011，403/404/405/406/407/408（9）：2780-2786.

[28] Yang Q X，Tang J H，Ahuja N.Efficient and robust specular highlight removal[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（6）：1304-1311.

[29] 高如新，李雪穎.双边滤波的改进高光去除[J].中国图象图形学报，2018，23（1）：9-17.

[30] LU G R， TANG J F ，JIANG M. Research on image highlight removal based on fast bilateral filter[J].Computer Engineering and Applications，2014，50（10）：176-179.

[31] Madessa A H，Dong J Y，Gan Y H，et al.A deep learning approach for specular highlight removal from transmissive materials[J].Expert Systems，2020：e12598.

[32] Beghdadi A，Le Negrate A.Contrast enhancement technique based on local detection of edges[J].Computer Vision，Graphics，and Image Processing，1989，46（2）：162-174.

[33] Peli E.Contrast in complex images[J].Journal of the Optical Society of America A，Optics and Image Science，1990，7（10）：2032-2040.

[34] Rahman S，Rahman M M，Abdullah-Al-wadud M，et al.An adaptive gamma correction for image enhancement[J].EURASIP Journal on Image and Video Processing，2016，2016（1）：1-13.

[35] Yeganeh H，Ziaei A，Rezaie A.A novel approach for contrast enhancement based on Histogram Equalization[C]//2008 International Conference on Computer and Communication Engineering.May 13-15，2008，Kuala Lumpur，Malaysia.IEEE，2008：256-260.

[36] Pizer S M，Amburn E P，Austin J D，et al.Adaptive histogram equalization and its variations[J].Computer Vision，Graphics，and Image Processing，1987，39（3）：355-368.

[37] Muniyappan S，Allirani A，Saraswathi S.A novel approach for image enhancement by using contrast limited adaptive histogram equalization method[C]//2013 Fourth International Conference on Computing，Communications and Networking Technologies （ICCCNT）.July 4-6，2013，Tiruchengode，India.IEEE，2013：1-6.

[38] Jobson D J， Rahman Z U and Woodell G A. Retinex Image Processing： Improved Fidelity To Direct Visual Observation. NASA Langley Technical Report Server，1996.

[39] Zhu M Y，Su F，Li W J.Improved multi-scale retinex approaches for color image enhancement[J].Applied Mechanics and Materials，2010，39：32-37.

[40] Gao Y，Yun L J，Shi J S，et al.Enhancement MSRCR algorithm of color fog image based on the adaptive scale[C]//Proc SPIE 9159，Sixth International Conference on Digital Image Processing （ICDIP 2014），2014，9159：253-259.

[41] Ying Z Q，Li G，Ren Y R，et al.A new low-light image enhancement algorithm using camera response model[C]//2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.October 22-29，2017，Venice，Italy.IEEE，2017：3015-3022.

[42] Xing L，Cai L，Zeng H Q，et al.A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J].Signal Processing，2018，145：233-240.

[43] Zhang Y H，Zhang J W，Guo X J.Kindling the darkness：a practical low-light image enhancer[C]//Proceedings of the 27th ACM International Conference on Multimedia.Nice France.New York，NY，USA：ACM，2019： 1632-1640.

【通聯编辑：唐一东】