【摘 要】文章提出基于非采样Contourlet变换（NSCT）的红外与可见光图像融合方法，用于解决雾霾天、逆光等恶劣环境下，单目摄像头识别能力有限的问题。实验表明：通过5组实验比较分析文章所述方法与基于单目摄像头方法的融合结果，采用所述方法的融合图像客观评价指标分别提高了8.41%、93.58%、15.41%;7.86%、58.84%、22.06%;20.03%、95.70%、3.21%;32.62%、148.38%、19.25%;8.95%、19.01%、10.44%。文章所述方法从主观视觉效果和客观评价都优于基于单目摄像头方法。

【关键词】图像融合;非下采样Contourlet变换;自适应

【中图分类号】TP391.41 【文献标识码】A 【文章编号】1674-0688（2019）07-0093-03

伴随“东风柳汽3.0”时代的到来，2018年已实现量产搭载L2级别的ADAS功能，正向L3级别的ADAS功能迈进。采用单目摄像头（如图1所示）配合超声波雷达、ECU、全景摄像头等，实现了自动紧急制动（AEB）、车道偏离报警（LDW）等功能。经过一段时间的市场检验，ADAS相关功能市场反馈效果好，在较好的环境下，AEB的误报率小于1次/100万km。但在雾霾天、能见度差、乱用远光灯等工况下，单目摄像头识别能力有限，造成ADAS相关功能稳定性降低。

21世纪，图像处理技术蓬勃发展，汽车、航空航天、安全监控等领域应用广泛。由于原理差异，不同传感器的特性不尽相同。红外感知传感器以热辐射为原理，感知能量分布，并且具有不受光照条件影响的性质[1-2];可见光感知传感器以光谱特性采用反射的原理探测场景，能充分捕捉场景中的边缘、纹理等细节信息，但很容易被光照等条件影响。综上所述，针对单目摄像头中存在的潜在问题，增加一个红外摄像头传感器（如图2所示），将红外摄像头感知的图像和可见光摄像头感知的图像融合，弥补特定环境中单目摄像头识别能力差，导致ADAS相关功能稳定性降低的问题。

1 NSCT的基本原理

Cunha等人在21世纪初，提出了非下采样Contourlet变换（NSCT）[3]，如图3所示。NSCT采用Z变换，让NSCT具有平移不变性;采用上采样，让NSCT的子带图像与感知图像大小相同[4-5]。

N级分解图像后，得到1+∑Nj=1 2■个子带图像，其中lj表示在尺度j下的方向分解级数。

2 基于NSCT的图像融合算法

NSCT有3个优点：优秀的空域局部特性、优秀的频域局部特性、优秀的方向特性。基于这些优点，NSCT能较好地表达图像的几何特性。针对单目摄像头在恶劣环境下识别能力降低的问题，本文采用基于自适应NSCT的方法对图像进行分解融合。图像的融合规则如下。

步骤1：针对红外感知传感器反馈的红外感知图像A、可见光感知传感器反馈的可见光感知图像B，分别对A与B进行NSCT，得到低通子带系数LA、LB，高通子带系数■、■，其中k=1，2，…;i=1，2，…。

步骤2：分别对LA、LB采用低通融合规则进行融合，分别对■、■采用高通融合规则进行融合。

步骤3：对融合子带系数进行逆变换，得到最终融合图像。

图4给出了基于NSCT融合的基本流程框架。

2.1 低频分量融合规则

针对雾霾天、逆光的环境，可见光图像低频分量如图5所示。由可见光低频图像可以得出，在恶劣环境下可见光传感器反馈图像包含信息量低，路面情况如行驶车辆、行人、标识牌、车道线等信息显示不完全。

红外图像低频分量如图6所示。由红外低频图像可以得出，对恶劣环境下红外传感器反馈图像信息量高，且能反馈出路面信息，如房屋、汽车、行人等。选擇自适应[6]的融合方法，对已经分解好的低频子带系数进行融合。

LF=（1-λ）LA+λLB（1）

公式（1）中，λ表示感知图像的信息量。正常环境中，可见光传感器反馈的图像信息量大，低频子带融合时，可见光低频子带占比高;当处于恶劣环境时，由于大雾、逆光等导致可见光传感器反馈的图像信息量降低，红外低频子带占比升高。采用公式（1）自适应融合的方法进行融合，当环境较好时，红外摄像头能辅助可见光摄像头，进一步提高感知端的识别能力;针对雾霾、逆光等环境，红外摄像头能弥补可见光摄像头的不足，较好地提高感知端的适用范围，进而提高ADAS相关功能在恶劣环境下的稳定性。

3 仿真结果与评价

为了验证本文方法，采用MATLAB进行大量的仿真实验（如图8所示）。

第一、二组是模拟逆光的工况：如图8（1-a）和图8（2-a）可见光所示，图中逆光明显，几乎看不到路面信息，若采用单目摄像头，则在此工况下ADAS相关功能性能将大幅降低;如图8（1-b）和图8（2-b）红外图像所示，图中路面信息丰富;本文方法如图8（1-c）和图8（2-c）所示，图中道路线清晰，车辆轮廓明显，行人特征明显，能弥补单目摄像头在恶劣环境下的缺陷。

第三、四组是雾霾天的情况：如图8（3-a）和图8（4-a）可见光所示，图中浓雾遮挡了车辆、行人、车道线等路面信息;如图8（3-b）和图8（4-b）红外图像所示，图中车道线清晰可见，路上行人特征明显，远处的房子清晰，车辆轮廓、车牌、尾灯等特征清晰;本文方法如图8（3-c）和图8（4-c）所示，图中反映的路面信息丰富，能弥补使用单目摄像头时，在雾霾天的工况下不能观察路面信息的缺陷。

第五组是路面照明差的情况：如图8（5-a）可见光所示，图中路面照明差，在对向车道有开远光灯的情况下，几乎看不到路边的行人、车道线等信息;如图8（5-b）红外图像所示，路边行人特征明显，且能清晰地看到对向车道的车辆信息;但是，红外图像也有缺陷，如可见光图像图8（5-a）中左侧的汽车尾灯，在红外图像图8（5-b）中，不能观察到相邻车道的信息;采用本文提出的融合方法如图8（5-c）所示，右侧行人特征明显，左侧相邻车道汽车尾灯特征能清晰表现，且能正确表达对向车道远光灯区域路面信息，能弥补单目摄像头在恶劣环境下的缺陷。

以客观评价的角度分析本文方法的融合质量。选择香农熵（S），方差（V），峰值信噪比（P），并使用3个指标客观地分析融合图像。其中，香农熵表示图像中信息程度，方差衡量图像复杂程度，图片看起来灰蒙蒙的，则方差小，如果图片看起来信息丰富，则方差大;峰值信噪比用于衡量图像信息中，有用信息在图像信息的占比程度。

从表1可以得出，对比香农熵、方差、峰值信噪比参数，本文所述方法明显优于单目摄像头方法。本文方法相对于单目摄像头在第一组融合，融合质量指标分别提高了8.41%、93.58%、15.41%;第二组融合比较，质量指标分别提高7.86%、58.84%、22.06%;第三组融合比较，质量指标分别提高20.03%、95.70%、3.21%;第四组融合比较，质量指标分别提高32.62%、148.38%、19.25%;第五组融合比较，质量指标分别提高8.95%、19.01%、10.44%。

4 结论

本文提出了一种融合方法，是采用在NSCT基础上通过自适应的方法对红外和可见光进行融合。通过5组实验比较分析本文所述方法与基于单目摄像头方法的融合结果，本文所述方法客观评价指标分别提高了8.41%、93.58%、15.41%;7.86%、58.84%、22.06%;20.03%、95.70%、3.21%;32.62%、148.38%、19.25%;8.95%、19.01%、10.44%。无论从主观视觉效果还是客观评价，本文所述方法都明显优于单目摄像头的方法，能弥补在雾霾天、能见度差、乱用远光灯等恶劣环境下，单目摄像头识别能力有限的缺点，有效提升在恶劣环境下ADAS相关功能的稳定性。

参 考 文 献

[1]XIANGT，YAN L，GAO R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Physics &Technology，2015，69：53–61.

[2]王烈，羅文，陈俊鸿，等.自适应PCNN与信息提取的红外与可见光图像融合[J].计算机工程与应用，2018，54（4）：192-198.

[3]张一晨，贾振红，覃锡忠，等.基于NSCT域图像融合改进算法的SAR图像无监督变化检测[J].光电子·激光，2015，26（10）：2023-2030.

[4]吴延海，张烨，马孟新.基于NSCT变换和压缩感知的图像融合[J].西安科技大学学报，2015，35（4）：480-485.

[5]CUNHA A L，ZHOU J P，DO M N.Nonsubsampled Contourlet transform：filter design and application in image denoising[C].IEEE International Conference on Image Processing，2005.

[6]王烈，罗文，秦伟萌.分段弱选择自适应正交匹配追踪算法[J].计算机工程与设计，2018，39（12）：3767-3773.

[责任编辑：钟声贤]