张 晔,魏 然

(哈尔滨工业大学电子与信息工程学院,黑龙江哈尔滨150001)

基于成像机理分析的图像混叠去除

张 晔,魏 然

(哈尔滨工业大学电子与信息工程学院,黑龙江哈尔滨150001)

去混叠技术是图像处理领域重要的方法之一。目前的去混叠算法多数都是在空间域进行的,因此它们都忽略了这样一个事实,即图像的频域成分混合是产生混叠的根本原因,而其在空间域所造成的视觉失真,仅是一种表现。基于此,提出了一种基于成像机理分析的去混叠算法,改变了现有算法仅从空间域角度解决混叠的现状。该方法在从成像机理角度分析混叠产生原因的基础上,利用分形技术对图像所丢失的高频信息进行了补偿,从而实现混叠去除。实验结果表明,算法不仅能够在空间域上消除混叠给视觉带来的影响,而且能够在频域上,更多的恢复高频成分的信息。

抗混叠;外插;分形技术;成像机理

0 引 言

人们获取图像的一个基本目的,就是从图像中解读出有意义的信息。如从遥感图像中,确定出地表物质类别及属性[1],从医学图像中解读出人体组织及病理方面的信息[2]或从天文学图像中,分析天体的物理参数等[3]。无疑,这些需求对图像本身的质量,即图像反映原始场景的能力,提出了较高的要求。但不幸的是,由于物体运动,成像平台本身的不稳定,成像传感器内部热噪声等负面因素的影响,一个成像系统针对某一场景所成的图像通常不能完全还原场景信息,即图像总存在一定程度的退化,这种退化如不恰当的处理或消除,会严重影响后续的情报解读和分析工作。本文将重点考虑传感器成像系统中的电子器件,即电耦合器件(charge coupled device,CCD),给图像造成的信息损失及恢复问题。

从原理上来说,CCD造成负面影响主要有两个:第一是由于CCD本身的离散性,造成图像分辨率相对于场景分辨率的降低;第二是在CCD的抽样过程中,给图像造成的折线效应和锯齿效应。因此,消除CCD所造成的失真实际上要完成两个工作:第一是提高图像分辨率,即超分辨或分辨率增强;第二是补偿在下采样过程中,造成的高频信息损失。解决这一问题的一类方法,称为抗混叠或去混叠。

现有的抗混叠方法,大致可以分为3类。第一类是借助多源信息或多场景信息,利用这些图像或平台之间的互补性,对单幅图像进行抗混叠补偿。这类方法在序列图像中[45]应用的较为广泛。但这种方法的前提是必须有条件获取同一场景的多幅图像,如图像序列或多平台传感器的情况。而本文所研究的问题,是一个单幅图像抗混叠超分辨增强的算法,故此类方法并不适用。

第二类方法则可视为一种前端处理法。这类方法主要是改进传统成像系统的采样方式,使新的采样系统具有抗混叠的效果。如文献[6-7]在详细的分析了下采样图像在频率方面的特性后,分别针对灰度和彩色图像提出了一种抗混叠采样方案——DSD-FA和DDSD-FA。文献[8]则通过设计一种新型频谱保持窗,实现了在采样过程中,对图像高频信息的保护。这类针对传统的模型进行重设计的方法,虽然取得了较好的效果,但在实际中,往往无法得到有效的应用。因为对现有的经典成像模型进行大规模的重构,显然不符合实际。

第三类方法则是基于插值技术进行的。这类方法主要是针对经典插值方法,如针对双线性和双二次三项式插值的不足而设计的一些具有抗混叠效应的插值。文献[9]利用高分辨率和低分辨率图像的对偶性,提出了一种基于协方差信息的插值算法,有效地减小了图像的混叠。文献[10]首先利用传统的方法,如双线性插值,双三次插值,对失去的信息进行预测,然后利用图像的一阶和二阶统计信息,对预测结果进行修正,从而得到无混叠失真的高分辨率图像。文献[11]提出了一种二维自适应回归模型,并引入软决策技术,实现了抗混叠插值,增强了图像的分辨率。

第三类方法之所以能取得一定效果,主要原因在于他们利用了图像的空间相关性,从图像的其他区域中选取了恰当的信息,对在成像中丢失的信息进行了补偿。而基于数学上分形技术的图像处理方法,也是利用了图像内部所存在的自相似性,因此在图像压缩中得到了广泛的应用。分形方法同样适用于超分辨问题[12],这主要得益于分形码流与分辨率无关的性质。

基于插值技术的方法,虽然也能取得一些令人满意的结果和性能,但也应该看到,这类方法仍然存在着一定的局限性。这类方法的主要问题是,没有从频域角度考虑混叠造成的原因。从原理上说,混叠这种失真,虽然其效果往往表现在空间域中,即通常表现为折线效应和锯齿效应,但造成混叠的根本原因,是由于图像高频信息的混叠。混叠本身又是CCD在空间尺寸上的有限性的结果,因此是不可避免的。现有方法多集中在空间域消除混叠,而忽略了频域上更为本质的失真,本文将针对上述不足,提出一种基于频域外推的去混叠方法。

1 图像混叠机理分析

本节将从分析图像成像角度出发,在分析成像物理模型的基础上,给出传感器电子设备的信号模型,并对图像混叠的原因和结果进行量化分析,给出信号混叠的解析表达式,并对其所蕴含的物理意义进行解释。

1.1 成像链路及成像物理模型

成像链路是一个将地面场景及其对应物质的物理、化学等属性信息,转化为二维数字信号的能量转换和传递系统。该链路的起点是太阳所发出的电磁波的辐射能,该能量以流的方式入射到地球表面上方后,经过大气作用,与地表目标和物质发生反射作用,最终传到传感器前端,并经过传感器内部的成像过程,最终形成数字图像输出。该过程的示意图如图1所示。

图1 图像成像链路模型

在一切图像退化条件都不存在的理想情况下,一个成像链路会输出“理想图像”,即所得的图像是无失真的。但由于实际成像过程中,总存在大气扰动,传感器平台的振动、传感器内部器件失真等因素的干扰,因此最终得到的图像往往是退化的,即地面场景转化为数字信号的“成像链路”是一个信息退化过程。

不同因素对图像退化的结果也不一样,如大气的扰动,往往造成图像扭曲;传感器平台本身的不稳定,则会造成图像出现运动模糊;而本文所研究的混叠,则是由于图像传感器中电子器件积分及下采样作用造成的,这种效应,不仅能够造成图像分辨率的下降,还会造成图像在高频成分上的混叠。

从物理上看,CCD由半导体及光敏器件构成,其作用是将光能量转化为电能。从信号角度来看,如果忽略能量在形式上的变化(即从光子变为电子),则CCD是一个具有一定传递函数的系统,且该传递函数与CCD物理尺寸等属性相关。CCD的概念图如图2所示。图中的阴影部分表示CCD传感器的换能单元(energy transfer unit,ETU),其传递函数为

其中,rect(x,y)为矩形函数:

Tv为参数,其定义如图2所示。

图2 CCD概念图

1.2 CCD器件信号模型

式(1)所示的表达式不能直接反映信号的损失,为此还需一个表达传感器CCD器件的信号模型。下面将从能量角度推导该模型。

首先定义如下傅里叶变换对:式中,s(x,y)为入射到CCD表面辐射能量,该能量由地面场景反射太阳能后,再经过传感器透镜作用得到。鉴于式(1)具有传递函数的意义,因此可以认为CCD器件输出为

而从频域能量角度来看,s(x,y)和hoTev(x,y)分别可用下列两个式子表示:

将式(4)的右侧用式(5)和式(6)替换,可以得到

对上式进行如下变量代换:

于是,式(7)的第一个积分项可变为

式中

为傅里叶变换基函数。类似地,式(7)的第二个积分项可变为

1.3 混叠现象的频域本质

有了式(14)即可分析地面能量分布在经过CCD作用后信号的损失情况。CCD的信号模型主要由两部分构成:第一是二重求和运算,求和对象是S(wx,wy)的平移;第二个是S(wx,wy)平移项的因子cm,n的乘积。因此,对应到CCD对二维信号的退化作用,也表现在两个方面:一个是由求和操作造成的,其本质是由于“求和”是一个“多对一”的映射关系,故在这个过程中,多路信息会仅以一个输出来表现;另一个则是系数cm,n对原始频谱的一个衰减。

首先假设cm,n=1,这种情况实际上是假定了CCD的ETU单元的响应为理想的抽样函数,而非实际的矩形函数。即使在这种“半理想”情况下,CCD的抽样作用仍有可能给图像能量分布造成混叠。而是否会发生混叠,取决于抽样信号频率wxs,wys及图像能量分布的最高截止频率wxm,wym之间的关系:当wxs≥2wxm,wys≥2wym,时,不存在能量的混叠。但当上述条件无法满足时,混叠就是不可避免的了。对更为实际的cm,n≠1时,在这种情况下,图像能量将会被进一步的混叠,信号能量进一步失真。由式(13)不难看出,这种信息退化的程度,与τx和τy有关。较大的τx和τy对图像的影响也较大,因为由于cm,n的引入所造成的曲线的包络线与τx, τy成反比,当τx=0或τy=0时,整个包络曲线就退化为一个点或者冲激函数。

为了进一步说明CCD对图像的退化作用,图3示意性地给出了上述几种退化场景的一维简化表示。图3(a)给出的是一组图像的傅里叶变换示意图,为说明频域混叠与否与图像本身所具有的频率之间的关系,仅取二维傅里叶变换结果的一个剖面。图3(b)给出的是没有混叠的情形,从中可以看出,在CCD的作用下,原始图像信号的频谱被以ws为周期,进行了谱移和叠加,且谱移的大小为ws。在2wm),原始图像的谱,不存在任何被混合或削弱的情况。但对于图3(c)这种情况,由于上述条件得不到满足,故图像频谱的高频分量会被搬移后的谱成分所混叠,混叠的区域为图3(c)的阴影部分。同理,在考虑到CCD的ETU单元尺寸因素后,图3(c)将会进一步退化成图3(d)的情况,在这时,甚至连原始信号频谱本身的幅度都会以cm,n所表达的包络曲线衰减。随着τ的增加,cm,n的第一零点位置逐渐向右移动,故它对高频信号的衰减的影响是逐渐减轻的,当τ→0,包络曲线逐渐成为一条理想的直线。

图3 CCD器件对图像能量的退化作用示意图

2 分型变换的理论基础

2.1 理论基础

为分析本文所提出算法的合理性,首先给出这一算法的数学理论基础。本文所提出的算法,主要有两大理论基础,一是压缩映射原理(contraction mapping principle,CMP),另一个是Collage原理。CMP保证了分形频域扩展解码算法的收敛性及解码效果与初始值无关。Collage原理则指出,解码的误差与所选用的压缩变换的压缩系数和最优仿射变换的残差大小有关。其中,后一个因素也是本文算法能够提升效果的关键。

定理1 压缩映射原理[13]

设(X,d)为一个测度空间,f:X→X为该空间上的一个压缩映射,则以任意x0∈X为初始值,按如下方式进行迭代:

f均可收敛到其唯一的不动点x-f。

上面这个定理的意义在于,只要可以在赋范空间X上找到一种压缩映射f,则该映射的不动点的全部信息,都可以用f来表示。在压缩中,如果令其不动点x-f取为原图像,则f即可被认为是原图像的压缩码流,因为CMP保证,利用f的信息完全可以解码原图像。

理论上讲,压缩编码的产生过程转化为了一个寻求最优的压缩映射f的过程。即找到一个最佳的f^,使其对应的不动点xf^与真实图像x之间的误差小于某一个设定值ε。即d(x f^

,x)＜ε(16)

不过,这个过程在数学上非常复杂,因此,人们往往寻求一个弱化解,Collage定理则为寻求这样一个解提供了理论支持。

定理2 Collage定理[13]

设{X;wn,n=1,2,…,N}为赋范空间X上的一个迭代函系统(iterative function system,IFS)其中wn(n=1,2,…,N)为一组压缩映射算子,其对应的压缩系数为Cn(n= 1,2,…,N)则存在一组映射W:H(X)→H(X),和集合A∈H(X),使得

式中,H(X)为X上所有的非空紧集;A-w为映射W的不动点。而c为IFS的压缩系数:

h(S1,S2)为两个集合之间的Hausdorff距离,定义如下:

式中,ε＞0为满足下列式子的任意小值。

有了上述定理,则寻求式(17)的过程,就转化为求解相对较容易的式(18)的过程。

2.2 算法问题及适用性分析

将上述理论应用于图像处理,其产物即是经典的分形编码算法理论。文献[14]在1992年首度提出该理论,并因为其较高的压缩率和较好的恢复质量,在此之后,得到了进一步的发展。一些学者注意到了分形方法的一些性质,并将其用于其他领域,如图像去噪[15],分辨率增强等[19]。

这些将其用于图像分辨率增强的学者,主要是注意到了分形编码本身所具有的如下几个特点。

(1)与分辨率无关

由压缩映射原理可以看出,式(15)收敛的唯一条件就是f是压缩映射,因此,一旦根据式(18)找到了这样一组最优的f,在其解码阶段,使用这个最优的映射,对任意初始值和分辨率的图像都能够得到一组稳定的收敛结果,即不动点,且该稳定结果的分辨率与初始图像大小一致。

(2)自相似-自仿射性

Collage定理的意义是,最终的解码误差,即真实图像最优映射之间不动点之间的Hausdorff距离,以最优映射对图像进行仿射变换时,所产生的残差为上限。因此,空间相似性较高的一些图形,往往会产生较好的解码结果。

上述一些分形编码及其改进,正是利用了第二个特点。但这些方法,多数是基于图像空间域进行的[1618]。少量的文献提到了将其用于变换域,但也都未提及图像的傅里叶频域。如文献[12]和文献[19]分别提出了一种在DCT变换域和小波变换域进行分形解码,并超分辨的一种算法,但正如第1节分析的那样,真正产生混叠的空间,在图像的傅里叶域,且由于图像本身是一种实二维信号,因此,其对应的幅度谱是偶函数,相位谱是奇函数[20],无疑,这本身即是一种自相似性,因此,在傅里叶域基于分形技术进行超分辨,会取得较好的效果。根据以上分析,本文提出了如下的算法。

3 基于分形变换的频域外推超分辨

本文所提出的算法,主要分3个阶段:第一步是预处理阶段,主要是对图像进行傅里叶变换,并分块;第二步是在图像傅里叶变换域,通过一个最优化过程,寻找最优的变换参数,并利用最小二乘求解;第三步是利用分形技术在分辨率下的不变性,实现图像的抗混叠超分辨增强。整个系统实施方案如图4所示。

图4 去混叠最优参数获取框图

3.1 预处理阶段

在预处理阶段,去混叠系统主要完成如下两个工作。第一是对原图进行傅里叶变换,将其映射到频率域,即混叠真正产生的空间域。二维傅里叶变换的定义如下:

式中,为I(x,y)的图像信号。

第二是对傅里叶频谱图像I(wx,wy)进行分块,并分别按非覆盖方式产生Range块(R块)和覆盖方式产生Domain块(D块)。其中,所有的D块还将被输入到Domain库,在后续的最优参数获取阶段,用于搜索和计算最优变换参数。而R块则输入到系统的下一级。

3.2 利用最小二乘法则获取最优变换参数

这一阶段是整个算法的核心。系统将从Domain库中为每一个Ri(i=1,2,…,NR),找到一个最优的变换参数,使如下代价函数最小化:

式中

F为低通滤波器,一般取为均值滤波

式中,NF=RF×CF为滤波矩阵元素个数。这里由于D块与R块大小存在一个2∶1的关系,故将RF和CF都取为2。

Image aliasing-removing based on imaging-mechanism analysis

ZHANG Ye,WEI Ran
(School of Electronics and Information Engineering,Harbin Institute of Technology,Harbin 150001,China)

Aliasing-removing technique is one of the most important methods in the field of image processing.Almost every existing aliasing-removing algorithm is spatial-domain based,neglecting the fact that aliasing is naturally frequency-component mixing at frequency domain,and the undesirable visual effect of aliasing is just a phenomenon in spatial-domain.Inspired by such fact,in this paper,a novel imaging imaging-mechanism analysis based aliasing-removing algorithm is proposed,breaking through the limitation of existing methods that reduce aliasing in spatial domain.Based on the analysis of the cause for aliasing in view of sensor imaging process, fractal technique is introduced so as to compensate for the missing high-frequency component,and thus accomplish aliasing-removing.The experiment results show that the proposed method can not only remove visual artifacts in spatial domain,brought by aliasing,but also recover more high-frequency component information in frequency domain.

aliasing removing;extrapolation;fractal;imaging mechanism

TN 919.81

A

10.3969/j.issn.1001-506X.2015.03.32

网址:www.sys-ele.com

1001-506X(2015)03-0679-09

2014 01 06;

2014 04 02;网络优先出版日期:2014 11 05。

网络优先出版地址:http:∥w ww.cnki.net/kcms/detail/11.2422.TN.20141105.1633.017.html

国家自然科学基金(61471148)资助课题