杨风暴,吉琳娜

(中北大学信息与通信工程学院信息融合与识别研究所,山西 太原 030051)

红外偏振与光强成像技术分别通过红外的偏振和强度信息对目标属性进行探测,是高性能空天一体化监测、无人航空器遥感观测、智能汽车驾驶等领域中双模态探测系统的重要组成部分[1-2],两种模态图像融合有利于探测图像的特征综合、准确解译和有效存储,显著提高探测系统的成像质量、探测精度[3-5]。但是,成像机理的差异性、探测环境和目标的多样性导致双模态图像间差异特征复杂多变(如图1),采用单一融合算法很难满足不同融合需求,根据差异特征选取合适的多种融合算法,通过优化组合实现算法间的优势互补,是双模态红外图像融合的一项关键技术[6]。

图1 红外偏振与光强图像

1 浅层集值映射面临的问题

双模态红外图像融合算法选取的前提是差异特征与算法间关系的建立。目前两者间关系多采用浅层集值映射来实现,即仅仅揭示了一些已知图像间差异特征的单一属性——类型与多个融合算法间的联系,然后基于该映射确定融合效果较好的算法,对于特定场景通常有很好的融合效果[7]。如:文献[8]定性分析了亮度差异特征与基于顶帽变换(Top-Hat)和支持度变换(SVT)融合算法间的联系,提高了融合图像的对比度;文献[9]研究了基于加权平均、金字塔、小波变换、小波包、NSCT和NSST的红外偏振与光强图像融合算法的性能,建立了其与图像统计差异特征的对应关系,取得了较好的融合效果;F.J.Meng等[10]描述了亮度差异特征与基于感兴趣区域的显著性检测融合算法间的关系,融合图像能有效保留显著性亮目标。但是,在实际探测中,两种模态图像间的差异特征与类型这一属性相比,幅值及频次等属性及其变化对融合结果的影响更大;同时差异特征多个属性(如类型、幅值及频次)也是随机变化的[11],特别是对于动态探测场景,图像帧间各属性变化更为复杂,这种基于传统映射的融合模型无法随差异特征各属性的变化而动态调整算法,导致融合效果差甚至失效。显然,仅根据差异特征单一属性与算法间浅层关系的算法选择方法不能满足先进光电探测系统具备自发现、自调整、自优化的功能需求,这已成为制约双模态红外图像融合的瓶颈。

表面上看,产生上述问题的原因是差异特征与融合算法间难以最优匹配,导致选取的融合算法缺乏针对性。实质上是现有集值映射无法同时反映算法对差异特征的多个属性融合有效程度变化关系。只有剖析差异特征多个属性对算法选取的作用与影响,揭示差异特征各属性与融合算法间的深度关系,才能解决上述瓶颈问题。

2 深层集值映射的提出及意义

针对现有融合模型无法反映差异特征多属性对算法的变化需求造成选择的算法融合效果差甚至失效的问题,以集值映射、可能性分布合成等为手段,研究差异特征属性分类,提出差异特征的多个属性与融合算法间的多类映射的实施方法,探索映射多次迭代方法,确定联合落影,确定差异特征与融合算法的深度集值映射的建立过程,为根据差异特征多个属性变化选择具有针对性的融合算法提供有效手段。研究的技术路线如图2所示。

图2 技术路线示意图

2.1 深度集值映射的提出依据

当前,对于依靠差异特征多个属性选择算法方面已有相关研究进展,如文献[12]阐述了多类差异信息柔性融合的概念和内涵,研究了差异信息多个因素对融合性能造成的影响,解释了差异信息与融合方法间存在多变映射关系;Hinton[13]指出利用深度学习训练出更有用的特征,将其用于图像融合中,可建立差异特征与融合方法的深度关系,以提高融合针对性;文献[14]指出需要同时考虑图像间差异特征的多个属性选择合适的算法,也就是说建立差异特征多个属性与算法间的深层次关系是很有必要的。上述研究为探索差异特征各属性与融合算法间深度集值映射方法,实现融合算法根据差异特征多个属性变化而改变的需求提供了有益借鉴。

深度集值映射是在浅层集值映射的基础上,在某一投影轴方向进行多次映射迭代形成的多层结构的集值映射。文献[15]提出了随机集落影及落影函数的概念,分析了落影测度的性质,给出了可落随机代数的相关定理及其证明;落影表现定理及大数定理的提出,为集值映射的分层研究以及投影轴方向的确定提供了有效手段[16];文献[17]研究了联合落影、条件落影及边缘落影,使得集值映射的迭代成为可能。深度集值映射能够通过多层映射同时反映事物的多种因素对其结果的作用,与本文中根据差异特征多个属性选择融合算法的需求具有一致性。将深度集值映射用于双模态红外图像融合中,能够充分考虑图像差异特征多个属性对融合的影响,克服了传统集值映射仅根据差异特征单一属性选择算法的局限。文献[18-19]构造了不同融合算法对各差异特征类型的融合有效度分布,研究了可能性分布的构造及不同类型分布合成方法,并取得一些研究成果。这些研究不仅为算法对差异特征各属性融合效果变化状态的定量描述奠定了基础,而且为依靠图像差异特征多个属性选择算法提供有力支撑。

2.2 深度集值映射的意义

差异特征与融合算法的深度集值映射突破现有仅考虑差异特征单一属性选择算法的局限,通过构造算法对差异特征多个属性的融合有效度分布,给出差异特征各属性与融合算法的深度集值映射的实现方法,能够揭示图像差异特征与融合算法间的复杂关系,提供了通过建立差异特征与算法间关系以实现算法根据差异特征多属性变化而动态调整的一种新思路,为实现高性能的多算法融合提供新方法和理论支撑,对提高红外融合探测性能具有重要的意义。

初步研究表明,差异特征与融合算法间的深度集值映射的建立能同时反映算法对差异特征的多个属性融合有效程度变化关系,提高双模态红外图像融合效果。多模态成像技术应用的日趋成熟,使得光电探测系统要求融合模块必须具备高性能、智能化以及自适应选取融合算法的功能,将深度集值映射的方法应用到多波段图像、多模态医学图像等异类图像融合中,使多模态成像系统根据实际探测需求自适应调整融合算法,有助于提升系统智能化、精准化探测水平。

3 差异特征多属性的表征

3.1 差异特征类型的表征

研究人员发现成像场景各不相同的红外偏振和红外光强图像在亮度、边缘轮廓、纹理细节和对比度等图像特征上具有显著的差异,这几类特征是双模态红外图像的主要的异类差异特征[20-22]。

1)亮度差异特征

亮度表示的是整幅灰度图像的明暗程度。可用图像的灰度均值m来表征源图像亮度差异特征:

(1)

其中,px(i,j)为像素点(i,j)处像素值的大小,L×W为源图的大小。

2)边缘轮廓差异特征

图像边缘主要指其局部像素灰度存在显著变化的像素集合[23]。可用Robert算子、Sobel算子、Canny算子、LOG算子等提取边缘信息,表征两类图像的边缘轮廓差异特征。如利用Sobel算子的边缘强度(e)来表征图像边缘差异特征:

(2)

xpx(i,j)=px(i,j)-px(i-1,j)

(3)

ypx(i,j)=px(i,j)-px(i,j-1)

(4)

其中,px(i,j) 表示经过Sobel算子处理后得到边缘图像的像素点(i,j)位置的像素值,L×W为源图的大小。

3)纹理细节差异特征

纹理通过像素及其局部邻域的空间分布来表现的一种图像区域特征,常表现为斑、格、条、纹、环等图案[24],可用空间频率、平均梯度、粗糙度、灰度共生矩阵等方法来表征纹理差异特征。使用空间频率表征纹理差异特征如下

(5)

(6)

(7)

其中,RF表示空间行频率,CF表示空间列频率,px(i,j)表示像素点(i,j)位置的像素值,L×W表示图像尺寸的大小。使用差异平均梯度来表征两类图像的纹理细节差异特征:

(8)

4)对比度差异特征

对比度是用来反映图像整体明暗对比情况,对于灰度图像来说，对比度越大,图像视觉层次感越好,可用图像的标准偏差(Standard Deviation,sd)、Tamura对比度等方法表征对比度差异特征，如用图像的标准偏差表征图像对比度特征:

(9)

其中,m表示整幅图像像素值的平均值。使用Tamura对比度来表征两类图像的对比度差异特征[25]:

(10)

式中σ表示标准差;α4代表四阶矩。

3.2 差异特征幅值的表征

差异特征幅值表示双模态图像特征强度值间的绝对差异度,如公式(11)所示。

(11)

本文所用双模态红外图像的大小为L×W,为了反映图像间的局部差异,利用a×b大小的不重叠窗口提取每幅图像相应的差异特征信息,其中L=W=256,a=b=16,则每幅图中含有256个幅值。以图1为例,基于该方法得出的差异特征幅值的动态分布情况如图3所示。图中横轴表示图像分块数,纵轴分别表示:a)亮度差异特征幅值；b)边缘轮廓差异特征幅值；c)纹理细节差异特征幅值；d)对比度差异特征幅值。

图3 差异特征幅值分布图

3.3 差异特征频次的表征

差异特征频次属性描述了差异特征幅值属性分布的疏密性;差异特征幅值的疏密分布反映了差异特征频次的动态变化。双模态红外图像对差异特征幅值具有动态不确定性,仅通过差异特征类型、幅值大小等因素无法准确反映差异特征频次服从哪些可能性分布。

差异特征幅值函数描述形式是未知的,因此研究人员采用非参数概率密度估计法得到差异特征幅值样本集的概率密度分布[26],基于此构造差异特征频次分布。常见的非参数概率密度估计法有K最近邻概率密度估计法和核密度估计法。为了保证所选的非参数概率密度估计法构造出的差异特征频次分布能够更准确地反映真实的差异特征频次分布,采用相似性测度的方式对两种非参数估计法得出的差异特征频次分布分别与真实的差异特征频次分布进行相关性比较。结果表明,K最近邻概率密度估计与真实差异特征频次分布的线性相关程度更高,因此K最近邻概率密度估计构造出的差异特征频次分布能够更准确地反映真实的差异特征频次分布。

4 差异特征多属性与融合算法间深度集值映射的实现

在多差异特征和差异特征多属性研究的基础上,通过研究算法对差异特征每一属性的融合有效度分布,提出差异特征每一属性与融合算法间的集值映射的实现方法;以可能性分布合成为手段[27],研究差异特征多个属性对不同算法的融合有效度合成分布,进而给出差异特征多属性与算法间的深度集值映射的实现方法。

4.1 差异特征每一属性与算法间的集值映射的实现方法

1)对大量典型场景的双模态红外图像的亮度、边缘、纹理、对比度等特征进行分析,确定两种模态图像间的差异特征类型,采用距离测度计算基于滑动窗口的图像块的差异特征幅值,统计各差异特征出现的频次。

2)分别利用典型融合算法对红外偏振与光强图像进行融合,计算融合图像各块的差异特征融合有效度。融合有效度是在特定的融合算法下,比较融合后的图像特征与融合前两种图像特征有效融合的程度[5]。融合有效度可以通过距离测度函数进行描述[20-22],其中常用的距离测度函数化表征方式有欧氏距离(Euclidean Distance,ED),余弦相似性[28-29](Cosine Similarity,CS)以及兰氏距离(Lance and Williams Distance,LAWD)等。这三种描述方式分别如式(12)、(13)、(14)所示。

(12)

(13)

(14)

为了衡量所构造的融合有效度的稳定性与合理性,研究人员用差异特征稳定度和相应的主客观实验进行了验证。结果表明,余弦相似性稳定性高且贴近人类主观视觉判断。

3)以第i类差异特征为例,分别以该特征的幅值或频次为横轴,以算法对其相应的融合有效度为纵轴,分别得到算法对第i类差异特征幅值或频次的融合有效度的系列离散点。

5)根据可能性分布构造中的一致性原则、最优保持原则和最大确定性原则,将上述拟合的曲线进行近似,归纳总结出融合有效度分布的类型,包括偏大型、偏小型及中间型三类。

6)根据差异特征的不同属性,构造算法对同类差异特征不同属性融合有效度分布,如类S型分布、类岭型分布等,从而建立同类差异特征每一属性与融合算法的集值映射。

4.2 差异特征多属性与算法间的深度集值映射的实现方法

图4 双模态红外图像差异特征与融合算法的深度集值映射过程

4.2.1 面向同类差异特征的合成轴映射

1)借鉴可能性理论中不同论域集值映射间的运算规则将算法对同类差异特征的不同属性的融合有效度分布进行合成,建立同类差异特征的幅值及频次等属性与融合算法的合成轴映射,构建多维合成分布云。

2)采用实验对比法分析幅值和频次的重要性程度,确定各属性权重,计算该映射协调因子,确定映射投影轴方向。

3)根据融合需求选取不同的截集水平,在该投影轴方向上进行映射多次迭代,结合落影扩展原理,得到以同类差异特征的多个属性为论域的联合落影。

设πi,a(x)和πi,f(y)分别为算法对第i类差异特征幅值、频次的融合有效度分布,且自变量为不同论域,A∈F(X),B∈F(Y),拟采用M(∧,∨)算子对分布进行合成,具体为:

([xλ,yμ]|xλ∈A,yμ∈B))

(15)

4.2.2 面向异类差异特征的合成轴映射

1)采用对比分析法研究异类差异特征联合落影间的分布特性及相互关系,借鉴不同论域集值映射间的运算规则，建立异类差异特征的多个属性与每一融合算法间的合成轴映射。

2)分析类型属性的重要性程度,确定各类型权重,计算该映射协调因子,确定映射的投影轴方向,在该投影轴方向上研究映射的多次迭代。

3)利用模糊推理法计算合成分布联合落影测度和函数,得到以异类差异特征的多个属性为论域的联合落影。

设πi(x)和πj(z)分别为算法对第i类及第j类差异特征多个属性的融合有效度分布,且自变量为不同论域,A∈F(X),C∈F(Z),拟采用M(∧,⊕)算子对分布进行合成:

([xλ,zα]|xλ∈A,zα∈C))

(16)

4.2.3 非合成轴映射

1)采用多个可能性分布间的交、并、补的上确界或下确界以及与、或等运算规则定义更为一般的可能性分布合成规则。

2)根据各个分布的不同特性及其关系,研究分布的点状式、不增式、不减式和增减式等合成形式,确定各可能性分布间的相似测度或确定度(见式(17)),研究多个融合有效度分布的合成方法。

(17)

其中,M(Aj)为可能性分布πAj的均值,mλ为可能性分布πAj的λ-截集的扩展。

3)选择合适的合成规则及方法,对同一论域的多个融合有效度分布进行合成,从而建立差异特征多个属性与不同融合算法间的非合成轴映射。

4)根据实际探测图像确定差异特征各属性的范围,以不同融合算法为论域,构造差异特征多个属性对不同算法的融合有效度合成分布。

通过上述过程,完成对深度集值映射的建立。

5 深度集值映射的关键技术

5.1 算法对差异特征多个属性的融合有效度分布构造

算法对差异特征多个属性的融合有效度分布构造是指通过建立双模态红外图像差异特征多个属性(类型、幅值及频次)与算法融合性能间的集值映射关系,构造反映算法对差异特征各属性融合有效程度的函数。探索融合有效度度量方法、分析不完备数据的插值与延拓,才能描述算法融合效果随差异特征各属性的动态变化,从而为差异特征与融合算法间深度关系的研究提供基础。

5.2 映射的多次迭代研究

映射的多次迭代是指根据差异特征多个属性确定投影轴方向,在该方向上同类、异类差异特征的合成轴映射逐次进行投影,形成一维联合落影的过程。这不仅涉及算法对差异特征各属性融合有效度的多维合成分布云的构建,还关系到合成分布联合落影测度和函数的计算。确定差异特征多个属性的重要性程度及映射投影轴方向,才能形成集值映射的分层结构,为双模态红外图像差异特征与融合算法间深度集值映射的建立奠定基础,同时为融合模型根据差异特征多个属性变化而自适应调整算法提供理论依据。

6 结束语

本文提出红外偏振与光强图像差异特征与融合算法的深度集值映射,以解决差异特征单一属性和融合算法间的集值映射无法同时反映差异特征多个属性对算法的变化需求进而造成融合效果差的问题。综合考虑多个差异特征及差异特征的多个属性(类型、幅值和频次),通过研究算法对差异特征单一属性的融合有效度分布、融合有效度分布的合成方法,建立了差异特征多属性与融合算法间的深度集值映射,为根据图像差异特征的不同属性动态调整算法进而提升融合系统的自适应性提供思路,为实现双模态红外图像智能化融合提供理论基础。