APP下载

基于偏微分方程的模糊图像对比度增强算法

2022-04-22宋丽雅

安阳师范学院学报 2022年2期
关键词:图像增强反射率直方图

宋丽雅

(长治幼儿师范高等专科学校,山西 长治 046011)

0 引言

在全球经济快速发展的过程中,气候环境也遭到了很大程度的破坏,大气中的悬浮粒子对太阳光的吸收与散射导致能见度较低,这对图像场景造成了很大程度的影响[1]。在低能见度条件下获得特定图像场景所需要的关键信息难度大,导致在大多数情况下多重图像去雾变得不可行。在参考图像数据缺失的情况下,基于单一图像去雾法因成本低、效率高、简单易操作而备受青睐,采用该方法能够有效地对图像进行恢复和增强。目前,图像增强算法主要适用于灰度图像,对RGB彩色图像增强效果并不理想[2]。

Lee等基于模糊图像模型对图像细节恢复问题进行了研究,取得了良好的图像细节恢复效果。He等提出了用于单幅图像去雾的暗原色先验方法,该方法是目前应用最广泛的单幅图像去雾算法。变分和正则化方法是通过稀疏先验和其他边界约束来改善图像的去雾效果。实验表明,这些图像处理方法会导致图像晕圈、颜色失真或过度增强等问题,需要不断调整参数来改善[3-10]。限制对比度自适应直方图均衡化法具有多尺度特点,在图像增强领域具有广泛的应用,但是该方法会导致对比度低、图像模糊等问题。此外,在处理序列图像时,附加功能导致处理时间增加,但效果并不理想。基于偏微分方程(Partial Differential Equation,PDE)的模糊图像对比度增强算法在PDE框架下对图像反射分量进行局部-全局对比度增强,通过优化图像的梯度来自适应确定PDE结束时间。同时在色调-饱和度-强度(HSI)色彩空间上处理模糊图像,根据色调自适应确定饱和度通道调谐参数,从而获得稳定的PDE解决方案。

基于恢复和对比度增强去雾方法的视觉缺陷是缺乏对增强的自适应和渐进控制或调节[11]。因此,可以将选择的增强算子合并到一个基于偏微分方程(PDE)的公式中,以改进除雾效果。通过引入和优化模糊图像增强度量值,对算法进行更新和改进。其创新点为基于偏微分方程的公式是通过图像分布(直方图)的概率质量函数得到,除了局部或全局直方图修改,利用演化图像统计来执行基于尺度空间的平滑和增强,是能保持色调、颜色和抑制自然界图像中噪声的方法。全局增强方案和局部增强方案相互抵消,在增强基于直方图的对比度增强方法的优点的同时,最大限度地减少其缺点。此外还提出了一种基于熵的优化方法来实现全局-局部对比度正则化图像的自动处理,关键思想是用自然图像增强的算法有效地适应和修改基于偏微分方程的自然界图像增强。

1 图像处理

由于光线经过水蒸气时出现指数衰减,导致自然界中许多图像出现模糊,对比度较差。由吸收与散射引起的光衰减和由空气混浊引起的能见度低的问题决定了成像系统存在图像场景模糊、图像对比度低等问题。采用人工照明的方式来增加图像的可见范围不仅会产生吸收和散射效应,同时还会导致照明不均匀,光照量随着深度增加而减少,颜色随着波长的不同出现褪色[12]。

1.1 光照校正

在数学上,光照-反射率框架和模糊图像恢复模型类似,二者均包含乘法表达式。通过在处理图像之前对暗图像进行反转,实现DCP去雾算法对暗图像和光照不均匀的视频帧的增强。在暗图像反转中,和提炼透射图与采用多尺度的高斯环绕函数提取光照分量类似[13-14]。由此可见,通过类似的反转操作,可以利用光照校正算法对模糊图像进行处理。这种对偶性在理论上是有效的,因为照明和去雾是平滑和缓慢变化的。图1给出了采用光照校正算子增强的广义模糊图像对比度增强流程。

图1 广义模糊图像对比度增强流程图

图2给出了去雾和对比度增强之间存在的视觉相似性。

由图2可知,在默认情况下,传统的去雾算法并不是对所有的暗图像都表现最佳,如果没有适当修改,光照校正算法也无法实现最好的图像去雾效果。

图2 去雾和对比度增强之间的视觉相似性图

1.2 阴影处理与图像融合

以道路两侧的农作物或树木为例,不同的光照条件下农作物或树木会在道路上投下不同形状的阴影,阻碍道路的识别。HSV颜色空间中的V分量对图像内部道路区域的识别具有良好的适应性,但对经常被归类为背景的阴影的识别并无效果,直接影响了道路信息的完整性。定义A(x,y)为输入图像,B(x,y)为输出图像,通过点计算来改变图像的显示,即:

B(x,y)=k×A(x,y)+b

(1)

式中:k为系数,b为截距。

图像的融合采用加权平均法,尽管加权平均法在一定程度上削弱了图像的细节,但实现方便、速度快,能提高融合图像的信噪比。设V分量经过点运算后图像为src1,S分量经过点运算后图像为src2,两幅图像加权融合后的图像为dst,即:

dst=src1[I]*α+src2[I]*β

(2)

式中:I为下标值,α和β为权值。

对阈值分割处理结果进行评价并以1-10的等级表示,其中1表示效果最差,10表示效果最好。通过对加工结果的分析比较,确定了合适的k、α、β值。

1.3 偏微分方程的图像处理

由于处理过程复杂,缺少封闭解析解,PDE公式适用于自然界图像的处理。因此采用数值方法将图像视为一个连续的场流,从而实现迭代求解。基于Sapiro和Caselles的工作,连续初始图像场的噪声平滑和增强过程I(x,y,t)的定义如下:

(3)

Gs[I(x,y,t)]和Ge[I(x,y,t)]分别为平滑函数和增强函数,λ为调节平滑量的平衡因子,用百分数表示,x,y分别为水平和垂直方向的空间坐标,t为时间坐标或时间尺度。

基于偏微分方程的图像处理方法已经得到了深入的应用,适用于初始条件或先验未知的大面积修复问题[15]。此外,它们的关键优势在于允许多个过程同时控制聚集成一个连续流动方程。基于偏微分方程的方法还可以逐步控制每个过程的加权贡献。

1.4 图像照明校正模型

针对图像特有的光照问题,可以采用同态滤波方法进行光照归一化校正。光照反射率模型适用于光照不均匀的自然图像,因为无法获得图像采集数据,不需要图像形成过程及其发生环境的先验信息,所以首选基于图像的方法。该研究的范围仅限于单一的图像增强和色彩校正模型,因此基于软件的无参考图像增强处理为图像改善问题提供了一种快速、低成本、灵活有效的替代解决方案。

2 模糊图像对比度增强

2.1 统计特征的提取

处理后的图像在视觉上与改进后的传输图像相似,经过处理后再进行一次反变换,得到去雾图像。使用光照/反射率模型的对数表示来定义所提出的方法,并对其进行了修改,以方便标记。定义初始红绿蓝颜色模糊图像为URGB(x,y),得到HIS颜色图像,即:

UHSI(x,y)=RGB2HSI{URGB(x,y)}

(4)

将图像按色调饱和度和强度分解为:

{H,S,H}=split{URGB(x,y)}

(5)

选择强度通道U(x,y)UmaxI(x,y)rmaxDt得到i(x,y,t)α(x,y),其最大像素强度值为Umax,由Umax计算强度反转图像I(x,y)及其对数等价,如下所示:

I(x,y)=Umax-U(x,y)

(6)

log[I(x,y)]=log[L(x,y)]+log[R(x,y)]

(7)

定义强度i=log[I(x,y)],照明l=log[L(x,y)],反射率r=log[R(x,y)],那么

i=l+r

(8)

采用Retinex方法对光照进行估计,并采用式(8)从对数光照中提取出对数反射率。

此外,处理对数反射率r使用增益偏移校正(GOC)进行全局对比度和使用CLAHE进行局部对比度增强,即

(9)

式中:rmin和rmax为对数反射率的最小值和最大值,D为级数,取值256。

利用得到的增强对数反射率,将能量函数E{i(x,y,t)}最小化为:

E{i(x,y,t)}

(10)

式中:Ω为图像域,t为时间参数,r(x,y,t)和i(x,y,t)为连续反射率和强度图像,α为增强项的控制参数。因此,模糊图像对比度增强过程的PDE方程为:

(11)

式中:

f{r(x,y,t)}=GLAHE(GOC(r(x,y,t)))

=rGLAHE

(12)

利用有限差分法(FDM)进一步实现离散域收益。

it+1(x,y)=it(x,y)+[α(f{r(x,y,t)}

-i(x,y,t))]Δt

(13)

基于PDE的算法公式的详细系统如图3所示。

图3 (a) PDE-PWL-CLAHE算法;(b) PDE-GOC-CLAHE-MSR算法;(c) PDE-GOC-CLAHE-SSR算法;(d) Hou的方法

由图3可知,与Hou的方法相比,光晕效应在其中三幅图像中都可以清晰地观察到,(c)图像中的光晕效应有所减弱,但图像显得平坦,细节和对比度不那么突出。这种光环效应是需要解决的问题之一,需要通过改进算法来实现。

2.2 优化的图像度量引导进化

多尺度变化使得图像产生了良好的去雾效果[16-17],但存在可见晕圈、颜色较差等问题。因此,要解决的问题包括停止时间的自动确定、色彩失真、晕轮效应和暗图像问题。

2.3 色彩失真问题和饱和度调谐

在RGB空间中,由于各通道的非线性处理导致多幅图像出现颜色畸变。部分图像产生丰富的色彩、部分图像显示褪色或扭曲的颜色[18]。随后在HSI、HSV颜色空间中测试了该方案,结果显示在最小的颜色失真情况下得到了改善,然而褪色的问题在某些情况下持续存在,这就需要对饱和度成分进行自适应控制,以获得一致的颜色效果。因此,采用下述方案解决HSI色彩空间处理后的饱和调谐问题。

2)执行以下计算:S′=ksat*S,其中S′和S分别是调谐和初始饱和通道;

3)使用修改的饱和度和强度通道转换为RGB。

该方法对大多数图像具有良好的效果,但也有一些图像被过度增强了。经过实验评价,将Ksat的固定值定为1.5,给所有图像提供了一个更平衡和一致的结果,该改进算法称为提出的算法版本1 (PA-1)。

2.4 反向照明/反射通道增强暗像

为了提高算法的速度和有效性,重点研究了该算法的单尺度变量,在确保为α = 1的条件下环绕函数的宽度cs设置了最佳值。传输图像、去雾图像和AG优化图汇总如图4所示,随着环绕的变窄,细节变得更清晰,光晕效果降低。

(a)传输图像;(b)去雾图像;(c)~(h)AG优化-环绕参数0.8、0.6、0.5、0.3、0.2、0.1

通过对具有这些特征的图像的反光照分量处理,解决了图像的暗化问题,特别是天空和非天空区域之间存在较大差异的图像。

3 实验结果

通过大量实验来评估该文提出算法的性能,并将其与不同的去雾算法进行了比较。实验中还使用了相关文献中的基准图像和相关的图像去雾质量指标,图像处理使用的计算平台的规格是:Intel®酷睿i7-6500U x64处理器,2.59 GHz (GHz),12gb (GB)随机访问内存(RAM),图形处理器是NVIDIA®GeForceTM 940M,具有5.0计算能力,所有算法都在MATLAB®中实现和执行。

3.1 相应的质量措施

参考图像通常不存在图像去雾,据Lee等人的研究,最流行的度量标准是去雾化和模糊图像的可见边缘比值。正是基于这样一种想法,与模糊图像相比,去模糊图像会有更清晰的边缘和细节增强效果,可见边缘梯度的比率可以作为评价指标。基于偏微分方程的模糊图像对比度增强的效果如图5所示,可以看出该算法对于对比度增强图像的有效性和准确性。

(a)原始图像;(b)去雾图像;(c)去雾去模糊图像

3.2 照明校正和色彩增强

基于颜色直方图分析,该算法在R、G、B直方图紧密对齐时效果最好。使用对比拉伸方法得到的图像具有良好的色彩校正和全局对比度增强,在明亮区域过度曝光会导致局部对比度增强和颜色校正,所以要避免在明亮区域过度曝光。使用该方法平面的、非对齐的R、G、B直方图的图像进行处理,颜色校正效果并不显著,这些带有浓厚绿色或蓝色雾霾的图像表明了绿色或蓝色通道直方图与红色和蓝色或红色和绿色通道直方图完全错位。研究将涉及各种颜色空间的处理,确定最佳选择过程的组合,并减少这些缺点。利用输入的水下图像的颜色直方图,验证了颜色校正算法的有效性。图6为照明校正和色彩增强效果图。结果表明,该算法对全局对比度和色彩增强效果很好,但会导致亮区变白,这可以从汽车图像中前灯区域的饱和度得到证明。

(a)~(c)颜色校正1、2、3 ;(d)~(f)照明校正1、2、3;(g)~(i)色彩增强1、2、3

4 结论

基于自适应偏微分方程的模糊图像对比度增强算法,能避免基于DCP的标准方法存在的不足,同时获得可比较的可视化定量结果。该算法在没有先验、假设和物理模型的情况下表现相对较好,常用于图像去雾。该文提出的算法不需要人工调整参数,而是通过可靠的模糊度度量来指导去雾过程,并解决了PDE停止时间的问题。通过基于定量测量和视觉感知评价分析发现,该算法还利用自适应和固定的饱和控制参数解决了颜色失真问题。此外,通过使用固定的环绕函数的最佳宽度来处理所有图像,可以缓解视觉晕的问题。通过对模糊图像的反照度和反射率分量进行对数处理,解决了图像暗化问题。最后,该算法也可以应用于自然图像增强,有助于验证自然图像增强算法在自然界图像增强中的应用。未来将持续研究更灵敏的全局自适应对比度增强功能,对自然界图像进行改进的颜色校正,同时探索通过改进天光识别、雾密度检测和自动选择照明或反射成分来改善去雾效果。

猜你喜欢

图像增强反射率直方图
通过图像增强与改进Faster-RCNN网络的重叠鱼群尾数检测
中红外波段超广角抗反射微纳结构的研究
车灯反射腔真空镀铝反射率研究
一种基于轻量级深度网络的无参考光学遥感图像增强算法
图像增强技术在超跨声叶栅纹影试验中的应用
用直方图控制画面影调
基于非下采样剪切波变换与引导滤波结合的遥感图像增强
例析频率分布直方图
中考频数分布直方图题型展示
分步催化制备纳米SiO2减反射膜的性质与结构研究