王 辉，吴钦章

(1.中国科学院光电技术研究所，成都610209;2.中国科学院研究生院，北京100039)

图像复原技术是从降质图像中恢复出原始图像的一种图像处理技术，这些降质因素包括模糊，噪声，形变等。这类技术最初是从空间探索计划提出来的。从卫星或飞船上获得的关于地球和太阳系中行星的图像因为多种原因降质，这些原因如成像设备受使用环境限制造成的性能限制;相机和成像对象的相对运动，相机机械振动和翻动等。获得图像的代价十分高昂，因此图像复原是非常有意义的。现在图像复原技术应用已经扩展到我们生活的各个领域，如医学图像质量改善、复原，安全监控图像增强及低分辨率图像增强技术，老旧的影视图像复原等［1］。图像复原求解是一个病态的逆过程，复原图像非常敏感于噪声和模型误差。在图像盲复原中，目标图像和模糊核都是近似的，很少存在精确解。当前的主流图像复原研究主要集中于利用图像的稀疏先验知识［2－4］或者使用规整化方法消除复原的病态性［5－6］。可是这些图像复原方法都是被动图像复原，这些方法不管实际图像降质原因直接进行复原处理。这在实际成像系统中是很难有效的。现在也有一些图像复原处理开始引入主动过程，如［7］使用混合成像技术来辅助图像的运动模糊，［8］使用陀螺仪和加速计来辅助去除运动模糊等。但是这些方法很难结合到已有成像系统中。在图像复原研究中，发现如果能将图像质量评价引入到图像复原框架中，将会将形成新的主动图像复原，因为无需额外的硬件，所以很容易集成到现有成像系统中，将会大大扩展图像复原的应用范围。

由于图像复原往往没有原始图像，所以图像复原中的图像质量评价技术一般只能是无参考图像复原。无参考图像质量评价是一种不需要具体的参考图像的一种客观图像评价方法，它依据模型给出的量化指标，模拟人类视觉系统感知机制设计算法对图像质量进行评价。无参考图像质量评估在很多图像处理应用中占有很重要的地位，它可以用来监控图像质量控制系统的图像质量，评价图像处理系统的性能和优化图像处理算法的参数［9］。由于人类视觉评价系统中一些很难量化的因素，如认知，学习，视觉上下文，美感等，全参考图像质量评价方法获得的成功很有限，而无参考图像质量评估更难［10］，并且图像质量评价应用在图像复原中还有其特定的需求。

在图像复原中，无参考图像质量主要涉及图像锐度或模糊度量，例如梯度［11］，峰度［12］，DCT 系数［13］，边缘扩展程度［14－15］，基于黎曼张量［16］等。这些评价方法虽然经常被应用，但它们常忽略了其他降质影响，例如噪声。如果直接应用到图像复原中，其还没有考虑伪像的影响。［17－18］提出一种基于奇异值分解的图像质量评价方法，该方法同时敏感于图像模糊和噪声，并且已经应用到图像去噪算法参数优化中。但是对于图像模糊复原病态解中的伪像问题并没有给予关注。基于［17－18］中的图像质量评价方法，本文提出一种可以应用于图像模糊图像复原的图像质量评价方法，新算子通过引入图像结构相似和图像复原趋势修正使其不仅敏感于图像模糊和噪声，而且敏感于图像伪像。图像结构用于刻画复原伪像;图像复原趋势用于刻画复原过程的有效性。本文提出的图像质量算子可以广泛应用于图像增强［21－22］，图像去噪［23］，和图像原位模糊复原，如离焦模糊复原，高斯模糊复原等，用于判断算法的有效性和优化算法或系统参数。

文章首先介绍了基于图像质量评价的图像复原，接着介绍了通过维纳图像复原误差来说明复原过程本身病态性带来的图像误差，第2部分介绍了新的图像质量评价算法，第3部分介绍了新图像质量评价方法的实验验证及在图像复原中的应用，第4部分总结全文。

1 基于图像质量分析的自动图像复原

经调研，几乎所有的图像复原过程都是被动的，也就是说图像复原过程全部假设已知图像模糊类型或图像先验，并没有考虑到实际成像降质原因的多变性，也没有考虑图像复原过程有效性，即能否得到正确解。由于图像降质过程的复杂性、成像获取条件限制以及图像本身的复杂性，很难预先确定图像是否受到降质，受到何种降质，在图像复原中，目标图像和模糊降质核都是近似的，很少存在严格意义上的精确解。通过对图像质量分析技术的研究，如果能找到有效的无参考图像质量评价方法，那么将图像质量评价引入到图像复原过程中，将会大大提高图像复原的效用与稳定性，进而扩展图像复原的应用范围，这对于实时图像应用意义非常大。

基于图像质量分析的自动图像复原框架如图1所示。首先对输入图像进行图像质量估计，如果图像本身质量能满足要求，则不进行复原处理。图像质量差的图像进行图像复原处理，复原图像经过图像质量评价后输出，如果经复原后，图像质量得到提高，那么输出复原图像，否则输出原图像。由于引入了图像质量评价过程，图像复原结果的有效性得到保证，起码复原输出的图像不会变差。这里需要指出的是，图1中的“图像质量估计1”和“图像质量估计2”所用方法在本设计中并不一致，因为复原过程本身的病态性，得到的复原图像常含有放大的噪声，甚至图像与噪声结构都会改变，所以相应的评价方法有差别。

图1 自动图像复原框架

进一步发挥图像质量评价在框架中的作用，由于实际图像的降质类型很难确定，在一种成像系统中可能会出现多种模糊情况，例如在跟踪成像设备中，就会出现运行模糊，离焦模糊，湍流模糊等。因为如果图像降质核的结构和实际降质模糊核的结构不一致，那么是很难复原出质量好的图像的。成像过程虽然复杂，但是可以使用各种模型来逼近获得复原图像。为了满足实际系统的应用需求，基于图像质量评价技术提出了多模式图像复原，将固定单一的图像复原过程使用多模式的同步复原过程来代替，使用图像质量评价来输出质量最佳者，使用这种多模型模糊核结构策略来逼近实际的模糊核估计，如图。由于多模式图像复原结构的引入，复原过程就可以顺理成章的使用各种模型假设的图像复原技术。一般成像系统中，只需要使用几种典型的图像复原过程即可。

图2 多模式图像复原自动图像复原框架

下面，将分析复原图像质量评价对于图像质量评价算法的要求，并根据此设计新的适应于复原图像的图像质量评价算法。

2 复原图像对于图像质量评价因子的要求

图像的降晰过程

其中，g(x，y)表示模糊观测图像;h(x，y)表示点扩散函数，并且是线性移不变，相对于图像的支持域较小的模糊核;f(x，y)表示潜在的未模糊图像(目标图像);n(x，y)表示图像噪声;*表示卷积。式(1)经傅里叶变换后

其中，G(·)，H(·)，F(·)，和 N(·)分别表示 g(·)，h(·)，f(·)和 n(·)的傅立叶变换。经推导，维纳滤波如下

假设图像噪声时白噪声，所以|N(u，v)|2是常数，且未知未退化图像，所以|N(u，v)|2/|F(u，v)|2常用常数代替。

复原误差定义为复原图像和真实图像之间的差异。这样得到复原误差的向量表达式如下

式中黑体表示其相应的向量形式。

一般K是一个很小的值(如0.000 1)，所以式(4)变为

式(6)的频率域表达式为

其中σ是噪声的标准差。

这样就得到了噪声放大因子。当使用维纳滤波器时，噪声放大因子为

假设加入的高斯白噪声的均值为0，标准方差σ=0.001，所使用的 K=0.000 1，这样很容易算得维纳滤波复原噪声放大因子为7。还可以看出，由于H估计精度带来的误差更大，不只是对噪声，对图像原有结构也会带来影响。下面通过实验来说明复原过程对于图像影响，如图3所示。假设一幅图像受到离焦模糊影响，离焦半径是5像素，并且受到标准差为0.001，噪声均值为零的高斯白噪声污染(这样的噪声程度是合理的)，现在通过维纳滤波复原图像，其复原离焦半径由3－18像素。可以看到当复原离焦半径存在误差的图像结构的剧烈变化。

由图像降至过程的复杂性、成像获取条件限制以及图像本身的复杂性，很难预先确定图像是否受到降质，受到何种降质，复原中目标图像和模糊降质核都是近似的，很少存在严格意义上的精确解。由于复原过程本身的病态性，得到的复原解常有噪声的放大，甚至图像与噪声结构的改变。为了使用图像质量评价因子能作为图像复原图像的质量指示，它必须适应以下3点:①图像质量评价因子本身的计算无需参考图像;②图像质量评价因子可以很好的反应图像的模糊程度和噪声程度;③图像质量评价算子必须能适应图像结构或噪声结构变化。由于复原过程本身的病态特性和解近似特性，复原解过程可能会改变复原图像和噪声的结构。

3 适应于复原图像的质量评价算子

图像梯度可以有效的表达图像的结构。用g(x，y)表示图像，图像的局部块梯度矩阵用下式表达

其中，wi表示 N·N 像素局部图像，［gx(k)，gy(k)］表示图像在点(x，y)的梯度。这样相应的梯度协方差矩阵为

通过奇异值分解可以得到矩阵G的主方向，

其中，U，V是正交矩阵，列向量v1代表图像局部梯度场主方向，相应的奇异向量v2表示该图像块的主方向，v2与v1垂直。奇异值是s1，s2分别表示向量v1，v2的相对能量，满足 s1≥s2≥0。

式可以等价的通过C的特征向量来表示

根据图像局部区域块梯度矩阵的奇异值表示了该图像块的主方向和垂直方向的能量，他们之间的相对关系敏感于模糊，这样得到以下图像锐度算子

文献［17－18］指出，图像锐度算子Q有以下特点:1计算简单;2无需参考图像;3可以很好的反应对模糊和噪声程度(也就是说，当模糊增加时，Q变小，当噪声增加时，Q变小，具有近似单调性);4对于非高斯噪声也有不错的表现。图像质量算子Q已经用于图像去噪算法参数优化中［17－18］。

虽然图像质量算子对于模糊和噪声具有很好的适应性，但是其有以下两个缺点:

(1)图像质量算子Q计算的是全局测度，这样图像的平滑区域或噪声区域会影响整体质量算子，即图像各向异性边缘的密度会影响图像的质量算子。如果一幅图像的各向异性变缘较少或者较多，图像质量算子就会较小或者较大，而不能有效反应图像的质量。

(2)其不能作为图像质量因子应用于指导评价图像模糊复原。由于图像复原求解方程式不满足Hadamard正定条件，是一个病态的逆过程，复原图像非常敏感于噪声和模糊核误差。Hadamard正定条件:①方程解是存在的;②解是唯一的;③如果方程数据的误差趋向于零，那么解的误差也趋向于零(连续性)。由于病态原因，复原图像常存在严重的图像伪像，如图3。

图3 维纳图像复原结果

通过使用图像质量算子Q直接评价复原结果，用于选择最佳复原图像，得到图像质量评价曲线如图4中Q所示，结合复原图像质量曲线和复原图像结果，可以明显看出图像质量算子不能有效表示复原图像质量的变化趋势。算子Q不能有效评价主要原因是图像伪像非常严重，已经改变了图像的结构。

图4 图像质量算子Qn，Q，Grad估计图3中图像质量

为满足满足图像质量评价因子是适用于复原图像质量评价，设计了以下复原图像质量评价因子

其中Qmap表示复原图像的局部块质量评价因子矩阵，其中Qmap(i，j)表示对应块的图像质量评价因子;S是相似矩阵，表示对应复原图像^f与降质图像g之间的结构相似关系;T是复原趋势矩阵，表示复原过程的有效性。这样使用相似矩阵来描述复原图像结构变化，趋势矩阵来描述图像复原过程有效性。

相似矩阵可以通过对应的块之间的图像结构关系来表示。图像结构可以通过图像的主方向来表示，根据奇异值分解理论，主方向可以通过特征向量v1，v2来表示，假设图像局部块的主方向为θ。

其中v1表示图像局部块梯度矩阵的特征向量，δ表示一个很小的数。图像结构相似矩阵S通过下式来计算

其中，Dg(i，j)表示模糊降质图像局部块的主方向，D^f(i，j)表示复原估计图像局部块的主方向，ε表示容忍图像结构差异。如果模糊降质图像与复原估计图像相对应的局部块的主方向差异小于ε，则认为复原过程没有改变图像结构;否则，认为复原过程改变了目标图像结构。

复原趋势矩阵主要用来描述图像复原过程的有效性，其可以通过图像模糊程度或者噪声程度来描述，由于图像质量评价因子Q可以很好的反应图像模糊和噪声程度，通过模糊降质图像与复原估计图像相对应的局部块的图像质量评价因子Q之间的关系来描述图像变化趋势矩阵，趋势矩阵T可用下式来计算

其中，其中，Qg(i，j)表示模糊降质图像局部块的图像质量评价因子Q，Q^f(i，j)表示复原估计图像局部块的图像质量评价因子Q。如果模糊降质图像的图像质量评价因子Q小于等于复原估计图像相对应的局部块的图像质量评价因子Q，这样认为复原过程正向的，是有意义。

经过图像相似矩阵和图像复原趋势矩阵，结合图像质量评价因子Q本身的特性，可以分析得出，复原图像质量评价因子Qn能很好的满足复原图像的质量指示的条件，并且计算过程简单。下面使用Qn来描述图中复原图像的质量，验证算子的有效性。

4 实验结果

为验证图像质量算子Qn的有效性，分别使用Qn，Q来评价图3中的图像，并且使用基于梯度的图像质量评价算子Grad［11］。图像质量评价结果如图4所示，为了绘制观察，每个图像质量评价算子都经过调整。从图可以看出，图像质量评价因子Qn可以很好的反应复原图像质量变化的趋势，能给出恰当的算法决策指导。经过相似过程测试多幅典型图像，图像质量评价因子Qn都可以反应图像质量的变化趋势。由图像质量评价因子Qn变化趋势，还可以看出复原图像质量随着复原离焦模糊核半径误差的逐渐增大，图像质量Qn并不是逐渐变小，Qn曲线只能近似描述复原图像质量变化趋势，而不能完整刻画复原图像质量，这也说明该质量评价因子Qn只能用于选择最佳质量复原图像，而不能用于精确指导复原过程。这也间接说明了复原过程的病态性。

为进一步验证图像评价算法的有效性，通过将其应用到实际离焦图像复原中，复原过程如图2所示。其中的“图像质量评价1”使用图像质量算子Q，“图像质量评价2”使用图像质量算子2。Q的阈值有实验获得。由于图像本身信噪比较低，首先使用［19］中方法估计离焦半径，接着在以所估计离焦半径为中心一定范围内作为图像复原离焦半径，接着使用维纳滤波图像复原进行复原图像，最后使用图像质量评价因子Qn作为质量指示，选择Qn最大者为最后输出图像。作为为对比，使用［20］的最大似然估计盲复原方法。复原图像如图5所示，可以看出，本文复原结果明显好于［18］的结果，图5(b)的Qn=0.034，图5(c)的 Qn=0.006 9。

图5 真实模糊图像复原

5 结论

实时应用对于图像复原算法稳定性需求非常高，鉴于图像复原过程的复杂性与病态性，在图像复原过程中引入图像质量评价过程是一种可行的解决方案。本文提出了一种基于无参考图像质量评价的图像复原技术。该技术在图像复原中引入图像质量评价，使被动图像复原变为主动图像复原。由于图像复原过程的病态性导致的图像误差问题，提出了一种针对复原图像质量评价的算法，该算法通过在图像质量算子中引入图像相似矩阵和图像复原趋势矩阵，使其能适应复原对于图像结构或噪声结构变化。该图像质量评价算子计算无需参考图像，可以很好的反应图像的模糊程度和噪声程度，并且计算简单。本文提出的主动图像复原和适用于复原图像质量评价的方法将大大扩展图像复原的自动实时应用。需要指出的是自动图像复原中的复原过程是并行的处理过程，这对于算法的优化非常有益。最后，本文的复原图像质量算子只可以处理原位模糊，即模糊过程不改变图像的相对关系，对于非原位模糊过程，如运动模糊，则需要进一步研究。

［1］ Bovik A C.The Handbook of Image and Video Processing［M］.New York，Elsevier Academic Press，2005.

［2］ Fergus R，Singh B，Hertzmann A，et al.Removing Camera Shake from a Single Photograph［J］.ACM Trans.Graph.2006，25:787－794.

［3］ Shan Q，Jia J，Agarwala A.High-Quality Motion Deblurring from a Single Image［J］.ACM Trans.Graph，2008，27: － .

［4］ Cai J F，Ji，Liu H，et al.Z:Blind Motion Deblurring from a Single Image Using Sparse Approximation［C］//CVPR(2009)，104－111.

［5］ Yang J，Zhang Y，Yin W.An Efficient TVL1 Algorithm for Deblurring Multichannel Images Corrupted by Impulsive Noise［J］.SIAM Journal on Scientific Computing，2009，31(4):2842－2865.

［6］ Goldstein T，Osher S.The Split Bregman Method for L1-Regularized Problems［J］.SIAM J.Imag.Sci.，2009(2):323－343.

［7］ Ben-Ezra M，Nayar S K.Motion deblurring using hybrid imaging［C］//Proc.of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，USA，2003.

［8］ Joshi N，Kang S B，Lawrence C，et al.Image Deblurring Using Inertial Measurement Sensors［C］//ACM SIGGRAPH，2010:1－9.

［9］ Wang Z，Alan C B，Hamid R S.Image Quality Assessment:from Error Visibility to Structural Similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600－612.

［10］ Wang Z，BOVIK A.Why is Image Quality Assessment so Difficult?［C］//IEEE International Conference on Acoustics Speech and Signal Processing(IEEE，2002)，3313－3316.

［11］ Batten C F.Auto Focusing and Astigmatism Correction in the Scanning Electron Microscope［D］.M.Phil.Thesis，University of Cambridge，August 2000.

［12］ Caviedes J，Oberti F.A New Sharpness Metric Based on Local Kurtosis，Edge and Energy Information［J］.Signal Processing:Image Communication，2004，19:147－161.

［13］ Marichal X，Ma W Y，Zhang H J.Blur Determination in the Compressed Domain Using DCT Information［C］//Proceedings of the International Conferenceon ImageProcessing，Kobe，Japan，October 1999，2:386－390.

［14］ Marziliano P，Dufaux F，Winkler S，et al.A No-Reference Perceptual Blur Metric［C］//Proceedings of the International Conference on Image Processing，Rochester，NY，2002，3:57－60.

［15］ Varadarajan S，Karam L J.An Improved Perception-Based No-Reference Objective Image Sharpness Metric Using Iterative Edge Refinement［J］.Proceedings ofthe 15th IEEE International Conference on Image Processing，October 2008:401－404.

［16］ Ferzli R，Karam L J.A No-Reference Objective Sharpness Metric Using Riemannian Tensor［C］//Third International Workshop on Video Processing and Quality Metrics for Consumer Electronics，Scottsdale，Arizona，January 2007，25－26.

［17］ Zhu X，Milanfar P.A No-Reference Image Content Metric and Its Application to Denoising［C］//IEEE International Conference on Image Processing(ICIP)，Hong Kong，September 2010.

［18］ Zhu X，Milanfar P.Automatic Parameter Selection for Denoising Algorithms Using a No-Reference Measure of Image Content［J］.IEEE Trans.Image Processing，2010，19(12): － .

［19］ Fabian R，Malah D.Robust Identification of Motion and out-of-Focus Blur Parameters from Blurred and Noisy Images［J］.Graphical Models and Image Processing，1991，53(5):403－412.

［20］ Katsaggelos K，Lay K T.Maximum Likelihood Blur Identification and Image Restoration using the EM Algorithm［J］.IEEE Transaction on Signal Processing，1991，39(3): － .

［21］徐英，洪治.结合小波去噪THz图像多尺度增强算法研究［J］.传感技术学报，2011，24(3):398－401.

［22］李冠章，罗武胜.李沛适应彩色空间的图像对比度增强算法［J］.传感技术学报，2009，22(6):833－837.

［23］张钰.一种新的片上抑制CMOS图像传感器暂态噪声方法［J］.传感技术学报，2011，24(6):859－863.