张 玲,吴发辉,余文森,向益峰

(1. 武夷学院信息技术与实验室管理中心,福建 南平 354300;2. 武夷学院数学与计算机学院,福建 南平 354300;3. 福建师范大学光电与信息工程学院,福建 福州 350117)

1 引言

图像在成像过程中,如遇到敏感天气环境,常会受到拍摄设备光学成像原理的影响,在成像时触碰大气中微小粒子对光线产生散射现场,使图像对比度、可见度和清晰度等均发生不同程度的下降,影响图像质量,使图像看起来不够清晰。在日常生活中摄影、监控等都需要清晰有价值的图像,因此在这种情况下,复原图像的清晰度和对比度是有必要的。

针对图像的复原,陶镛泽等人[1]研究出一种矩形纳米复原方法,通过纳米光栅计量器获取图像分辨率,分析出图像特征间的几何量参数,通过神经网络标定图像特征参数,经过膨胀仿真,最终完成图像复原;曹学影等人[2]研究的自适应双刃边复原法,针对图像中相位一致的频域,进行边缘特征提取,自适应调整最优角度,拟合图像中不清晰部分,建立点扩散函数对图像暗色进行先验,实现模糊图像的清晰度复原。但上述两种方法在完成图像复原的过程中,并未考虑到透射率对去雾的影响,因此最终的复原效果具有一定的局限性,损失了部分有效信息。

本文在研究图像清晰度复原方法时,考虑到多个色彩通道下图像的呈现效果,建立多通道视觉注意力模型,分析图像信息权重,根据图像细节特征生成视觉注意类信号,在图像信息权重的辅助下,得到视觉通道中的每个视觉信号,在高斯滤波函数下完成图像卷积计算,最终实现图像的清晰度复原。经实验验证,证明所提方法在图像复原方面具有较好的呈现效果。

2 多通道视觉注意力模型

利用多通道视觉注意力卷积神经网络,提取图像中特征,设定特征V的空间向量[3]为L×D,图像信息分布在L个空间区域内,每个图像区域对应D维个向量,具体可表示为

V={V1,V2,…VL},Vi∈RD

(1)

式中,RD表示D空间维度,Vi为第i个图像空间区域,视觉注意力的多通道分配函数[4]主要根据图像特征,结合图像视觉注意力模型生成的视觉信号,生成的图像信息权重[5]

(2)

对式(1)进行归一化处理可得

(3)

(4)

(5)

对式(5)进行归一化处理可得

(6)

(7)

将图像通道视觉状态Tatt的维度转换成Tlstm,并与视觉特征Vatt合并传入长短期记忆网络[7],随机生成视觉信息元素

W=LSTM(Vatt,Tlstm,ht-1)

(8)

针对图像中的视觉状态和视觉信号,利用D空间维度范围内的独热码[8,9]向量来表示,视觉标签用维度为Z×D的向量T来表示

T={T1,T2,…,Tn},Ti∈RD

(9)

式中,Z表示视觉标签的空间长度,图像生成的多通道特征用维度为C×D的向量W表示

W={w1,w2,…,wc},wi∈RD

(10)

式中,C表示在C×D维度下生成的视觉标签长度。

3 暗原色先验算法

在复原图像清晰度时,首先要考虑图像受到环境光散射的影响程度,图像反射出的自然光线通过大气微粒的散射作用,最终到达拍摄设备镜头前。大气自然光的物理模型可以表示为

K(x,y)=R(x,y)t(x,y)+A(1-t(x,y))

(11)

式中,A表示自然光向量,K(x,y)表示不清晰拍摄图像,R(x,y)表示清晰化图像,二者之间受到自然光向量和透射率[10]t(x,y)的影响,R,G,B表示图像内三原色像素值。透射率的具体计算过程如下

(12)

式中,AC表示自然光向量A的正值变形向量。设定R(x,y)属于非天空区域图像,此时图像范围内的暗通道值[11]相对较低,甚至有可能接近于0,表示为

Rdark(x,y)→0 了

(13)

上式即为暗通道先验模型,其中的像素值非常低,主要成因包括阴影、彩色成像物表面和较暗成像物,这三种情况均会在成像时,在图像的暗通道中产生较低的像素值。

为了方便研究将自然光向量A的值假定为给定值,此时可将公式变形表示为

(14)

每个颜色对应的通道互相之间保持独立,假设光照透射率t(x,y)在固定区域Ω(x,y)内保持不变,此时在该区域内透射率可表征为t1(x,y),通过上述条件设定完成对图像暗通道的计算:

(15)

由于图像R(x,y)的暗通道相对较低且接近于0,因此

(16)

这时可以深度计算得到图像透射率t1(x,y)的最终值

(17)

若图像中存在天空区域景象,其颜色与自然光非常接近,又由于其距离过远,透射率基本接近于0,因此先对天空区域作出可行假设

(18)

若将图像中影响清晰度的雾气全部清除,可能会使图像表现不自然,这时为了使远距离成像体能够达到清晰可见的效果,加入调节参数[12]ω0,将其调节平均值设定在0.95,此时可得到远距离成像物的透射率

(9)

通过软对比获取天空区域的透射率为tb(x.y),可以结合上式列出函数等式关系

(L+λU)tb(x,y)=λta(x,y)

(20)

其中,U和L均表示单位矩阵,λ表示暗原色计算函数的参考变量。

4 考虑透射率的图像复原实现

利用异型高斯滤波调整图像色调,达到优化透射率的目的。根据图像视觉注意力可以判断,自然光向量A、K(x,y)二者与清晰化图像R(x,y)之间存在几何相关性,图像的光线透射率表示两条矢量线[13]的真实比率。通过自适应各种类型的异型高斯滤波[14]达到优化图像透射率的作用,图像的长轴尺度可表示为

(21)

式中,δu表示长轴长度。通过长轴尺寸可以有效判断出图像内光线的短轴尺寸为δv,此时可以通过图像中给定的灰度方差计算出图像透射率具体的平滑程度

(22)

R=K+Q

(23)

式中,K表示长短轴之间的比例参数,此时短轴尺寸可具体表示为:

δv=R×δu

(24)

通过自适应高斯滤波函数确定图像信息卷积方向[15]θ,同时计算出方向角度θ和K之间的比值参数,变换方向θ的垂直角度,利用高斯函数计算推导水平方向和垂直方向的参数[16],完成不清晰图像的卷积,此时可得到不清晰图像在坐标(x,y)处的与垂直方向的夹角θ′,具体的计算过程如下所示

(25)

(26)

θ′(x,y)=arctg[Ey(x,y)/Ex(x,y)]

(27)

式中,ξ表示图像像素在坐标上卷积参数,卷积方向角度θ与对应的垂直角度θ′之间存在如下关联关系

θ=θ′+90

(28)

利用高斯滤波函数模型转换图像投影时[17],将式(28)代入到其中可得

(29)

经过反复计算得到K=20时,图像的透射率可达到最佳效果,此时根据自然光的透射率可以通过图像复原得到清晰化的图像可表示为

(30)

其中,t0表示下限值,经过反复计算确定其最佳结果应为0.1。

5 仿真研究

为了能够有效验证本文所研究的图像清晰度复原方法的可行性和应用性能,本文将在计算机设备Matlab7以及奔腾(R)D,E6700,8GB处理器上进行图像的复原实验,实验过程中利用文献[1]提出的矩形纳米复原法、文献[2]提出的自适应双刃边复原法作为实对照组,分别对模糊图像进行去雾和增强透射率等清晰化处理,选择图1作为图像复原实验对象,利用三种方法对图1进行去雾处理,结果分别如图2～图4所示。

图1 原始图像

图2 矩形纳米复原法去雾后图像

图3 自适应双刃边复原法去雾后图像

图4 本文方法去雾后图像

从图2～图4中可以看出,通过比较可以看出,本文方法下图像的雾气几乎消除,图像中数目草丛的边缘轮廓得到恢复,不存在色彩偏移的现象,图像细节得到有效地增强。

经过图像去雾处理后,通过三种不同方法分别对图像进行进一步的透射率调整,完成最终的图像清晰度复原处理,结果分别如图5～图7所示。

图5 矩形纳米复原法复原后图像

图6 自适应双刃边复原法复原后图像

图7 本文方法复原后图像

比较图5～图7可以看出,文献方法应用后图像的透射问题改善效果并不显著,在两幅图像的上半部分,建筑物的轮廓和细节均较为模糊,影响图像整体的清晰度,而经过本文方法复原后的图像透射率高,图像画质和分辨率都较为清晰,复原效果较好。

为了更加客观的评估本文方法在图像复原方面的性能,通过图像信息熵来评估图像复原后的信息包含量,图像信息熵越大,证明图像经过清晰度复原后包含的信息更加清晰饱满,已知图像信息熵保持在6以上图像才相对清晰,将本文方法下得到的复原图像信息熵与矩形纳米复原法和自适应双刃边复原法对比,结果如图8所示。

图8 复原后图像信息熵结果对比

从图8中可以看出,文献方法下信息熵均能达到6以上,证明这两种图像复原方法均有效,但通过对比可知,本文方法下复原的图像,其信息熵明显高于前两种方法,图像中包含的信息量更高,证明本文方法的图像清晰度复原效果更好。

6 结论

经过仿真可以证明基于多通道视觉注意力下的图像清晰度复原方法可以有效地完成图像去雾处理,提高图像透射率,经过清晰度复原后的图像,包含的信息含量较高,细节清晰可见,大气光线呈现自然,证明本文方法复原效果好。