联合梯度预测与导引滤波的图像运动模糊复原

2013-04-27贺柏根鲁剑锋

中国光学 2013年6期

关键词：振铃复原边缘

朱明，杨航，贺柏根，鲁剑锋

（中国科学院长春光学精密机械与物理研究所，吉林长春130033）

联合梯度预测与导引滤波的图像运动模糊复原

朱明，杨航*，贺柏根，鲁剑锋

（中国科学院长春光学精密机械与物理研究所，吉林长春130033）

针对由相机与所摄景物之间发生相对位置移动所导致的图像运动模糊，提出了一种鲁棒的基于单幅运动模糊图像的盲反卷积算法。该方法首先通过预测图像中的较强边缘信息，实现用简单、易于求解的优化问题在傅里叶域中快速、准确地估计出点扩散函数。然后利用得到的点扩散函数，使用基于梯度约束的非盲反卷积算法复原清晰图像，同时采用一种新的边缘保持滤波器—导引滤波来消除噪声并抑制振铃效应。实验结果表明：本文的算法能够快速地从单幅运动模糊图像复原出具有清晰边缘和纹理的高质量图像，并且运算时间不超过20 s。

梯度预测；运动模糊图像；图像复原；导引滤波

1 引言

图像运动模糊复原是图像处理领域的重要组成部分和基本任务之一。近年来，随着数码相机，拍照手机等电子数码产品的普及，以及计算机处理能力的提升，数字信号/图像处理在天文、医疗、军事以及日常生活中有着越来越重要的应用，其中图像复原方法已成为图像处理领域中的研究热点之一。

在图像拍摄过程中，如果相机与所拍摄景物之间发生了相对位置移动，例如：拍摄者在拍摄时相对于景物运动，拍摄者在拍摄较长曝光时间的照片时以及拍摄的景物正在高速运动时，手持相机未使用三角架等原因，使得所拍摄的照片产生运动模糊，以上这些情况在人们日常使用小型高分辨率相机时是很常见的。如何从模糊图像中复原清晰图像在理论和实际中都有着十分重要的价值。

一般情况下，学者们认为单幅运动模糊图像具有统一的点扩散函数（PSF），此时图像运动模糊的模型可以描述成真实清晰图像与点扩散函数的卷积再加上干扰噪声。在大多数情况下，只有模糊图像是已知的，而点扩散函数和清晰图像都是未知的，因此图像运动复原问题就成为一个盲反卷积问题。

在研究图像运动复原的早期，因为不能够对PSF和图像进行较好的建模，所以大部分算法只能处理极为特殊的运动模糊图像。例如，假定运动为匀速直线运动或变速直线运动［1］，或假定真实图像在傅里叶域内的能量谱满足某种约束，而这些假设与实际中复杂的PSF相差甚远，因此不能够很好地恢复出图像空间域上的特征以及精确的PSF。Kundur在1996年对早期的图像运动模糊复原有较完整的介绍［2］。

2006年，麻省理工学院的Fergus等人首次利用图像的统计信息等先验知识较好地从较严重的单幅运动模糊图像中复原出清晰图像［3］，在一般条件下对PSF进行估计，取得了较好的实验结果，开创了图像运动模糊复原研究新的里程碑。Shan等人［4］建立了和Fergus类似的模型，对图像及其一阶、二阶导数进行约束，并利用快速Fourier变换在频域内进行优化，但由于其采用内点法优化点扩散函数，导致计算量很大。2011年，Levin等人对单幅图像运动模糊复原算法进行了总结［5］，不仅从实验上，更是从理论上指出传统最大后验概率方法的缺陷，即仅仅利用统一模型尝试恢复清晰图像和点扩散函数的方法是不可靠的，而是要利用图像维度比PSF维度大得多的这种基本性质，尽可能地从图像中提取有用信息估计出PSF，而后再利用非盲反卷积算法估计清晰图像。其他的图像运动模糊复原算法［6-12］还有很多。

本文提出了一种鲁棒的联合梯度预测与导引滤波的单幅运动模糊图像复原算法。该方法首先预测模糊图像对应清晰图像的强边缘，该预测可在频域中快速准确地计算出PSF，之后通过简单的基于全变差的优化问题估计清晰图像，并使用一种高效的边缘保持滤波器—导引滤波［10］抑制振铃效应以及图像的噪声。实验结果表明，本文提出的方法可以鲁棒地从单幅运动模糊图像中恢复出具有清晰边缘和纹理、极少噪声和振铃的高质量清晰图像。

2 利用梯度预测的迭代盲复原方法

运动模糊图像的形成可以用如下数学公式描述：

式中：B表示模糊图像，h为PSF，L为真实目标图像，n为干扰噪声，*为卷积运算符。

在PSF未知的情况下，图像运动模糊复原是一个盲反卷积问题。问题的关键是如何快速、准确地估计出PSF，之后进行非盲反卷积，同时有效地保持图像的边缘特征并抑制图像中残留的噪声。Levin等人提出要利用图像具有的更多已知的重要条件求取PST，因此我们采用图像中的强边缘信息来计算PSF。

本文通过迭代法估计PSF和目标图像的方法来进行图像运动模糊复原，每一次的迭代过程分为以下3个步骤（见图1）。

图1 图像运动模糊复原流程图Fig.1 Overview ofmotion blurring restoration process

（1）计算图像中的强边缘，利用这些强边缘和模糊图像中的边缘，计算出点扩散函数的整体轮廓。

（2）利用得到的点扩散函数，采用非盲反卷积的方法估计目标图像。

（3）使用导引滤波去除迭代复原图像中的噪声和振铃效应。

2.1 基于强边缘预测的PSF估计方法

在图像盲反卷积的过程中，估计PSF是核心工作，因为PSF的估计准确与否直接影响到恢复图像的清晰程度、噪声干扰，以及振铃失真等现象。本文主要依靠图像中的强边缘信息来估计PSF，因为图像中平滑区域无论模糊与否，都对图像质量影响不大，但是图像中的强边缘经过模糊后则有了较大的改变，所以研究如何将模糊图像的强边缘用于运动模糊复原中具有重要的意义。

首先计算目标图像的梯度（Px，Py），保留其中的显著边缘，而其他值设为0。即

式中，Lx，Ly表示当前估计图像的x方向和y方向偏导数，T为一个阈值。

在得到强边缘信息（Px，Py）后，采用如下方法估计PSF：

式中，（Bx，By）表示图像B的梯度。用到PSF的两个先验知识，即h的每一个元素均不小于零（hi，j≥0），且h中所有元素的和为1）。对于上述极值问题，可以采用最速下降方法来求解。对于式（3）中的卷积运算，可以利用卷积定理使用快速傅里叶变换及其逆变换在频域上快速计算。与其他的解法相比，这种方法不仅速度快而且占用内存要少得多，这样就可以处理更大的图像。

2.2 反卷积

在反卷积步骤中，使用得到的PSF h的估计和模糊图像B，计算目标清晰图像L。最小化能量泛函如下：

式中，正则项‖ΔL‖保证L具有光滑的梯度，ω和β是权重。这个最小化问题可以在频域中快速地求解，仅仅需要两次快速Fourier变换。

这个优化的结果不会产生高质量的结果，因为这个方法会放大图像中的噪声，而且在图像强边缘附近会产生比较明显的振铃效应。但是由于估计PSF只用到图像的强边缘，抛弃一些小的细节，因此这个结果对PSF估计精度的影响不会很大。

2.3 导引滤波

在复原过程中，为了更加精确地估计PSF和得到高质量的复原图像，需要去除图像中残留的噪声，抑制振铃效应，同时保持图像的边缘不被模糊［13-14］，本文使用导引滤波器［15］来达到这个目的。

导引滤波是一种新的可以在保持图像边缘不被模糊的前提下，平滑图像的非线性滤波器，同时也可以有效地除去图像的噪声以及振铃。导引滤波包括一幅导引图像LI，滤波图像Lp，以及一幅输出图像L。假设导引滤波输出图像L是导引图像LI的一个局部线性模型，在一个以点s为中心的窗口ωs内，假设：

式中：as和bs是在窗口ωs内的线性系数，它们可以由下式计算得到：

式中：μs和σ2s是LI在窗口ωs内的均值和方差，ps是滤波图像Lp在ωs内的均值。

对于那些重叠的像素（被多个窗口包含，计算多次），最终的取值为所有值的加权平均值，即：

与传统的滤波函数相比，导引滤波具有较好的边缘保持和细节增强的性能，对其性能的理论分析，文献［15］有着详细的描述。在本文提出的算法中，为了方法的简捷，设LI=Lp。

3 图像运动模糊复原实验

利用本文提出的算法和Fergus［3］，Shan［4］等人的算法对运动模糊退化图像进行了复原对比实验，图2为复原结果。可以看出，本文算法与其他两个算法相比，得到了较好的恢复效果，验证了本文算法的有效性。

图2 图像运动复原对比实验结果Fig.2 Results of different restorationmethods

图2中，Fergus的方法对一些细节造成了模糊，Shan的方法有较为明显的震荡波纹，而本方法得到的复原图像，不仅能恢复出清新的边缘和纹理细节，同时也抑制了振铃效应。

图3与Fergus的方法进行了对比，可以看出本文的方法复原出的效果在图像的对比度上要好于Fergus的结果。

在点扩散函数方面，本文方法得到的PSF比Fergus和Shan的结果略显模糊，这也是我们试图恢复出具有清晰边缘的图像，同时也是恢复的结果更为清晰的一个原因。

本文算法使用的开发工具是Matlab，在计算时间方面，计算PSF的时间为5～6 s，而后的非盲反卷积的时间为7～9 s，总的计算时间不超过20 s，而Shan等人虽然使用了更高效的C语言实现算法［4］，但是其计算时间也超过了120 s。

图3 图像运动复原对比实验结果Fig.3 Results of different restorationmethods

4 结论

本文提出了一种鲁棒的，联合梯度预测和导引滤波的单幅图像运动模糊复原方法。该方法首先预测清晰图像的强边缘，基于预测得到的结果，使用简单而有效的优化方法快速准确地计算点扩散函数，之后通过基于全变差的非盲反卷积算法复原清晰图像，并且利用导引滤波去除图像中残留的噪声，抑制振铃效应并且保持边缘不被模糊。实验结果表明，本文提出的方法可以快速、鲁棒地从单幅运动模糊图像恢复出具有清晰边缘和纹理、极少噪声和振铃的高质量清晰图像，总体运算时间不超过20 s。

［1］孙辉，李志强.基于相位相关的匀速直线运动模糊图像位移参数估计［J］.中国光学，2012，5（2）：174-180. SUN H，LIZH Q.Estimation of displacement parameters for uniform linearmotion-blurred images based on phase-only correlation［J］.Chinese Optics，2012，5（2）：174-180.（in Chinese）

［2］ KUNDUR D，HATZINAKOSD.Blind image deconvolution［J］.IEEE Signal Processing Magazine，1996，13（3）：43-64.

［3］ FERGUSR，SINGH B，HERTZMANN A，et al..Removing camera shake from a single photograph［J］.ACM Trans.on Graphics，2006（25）：787-794.

［4］ SHAN Q，JIA J，AGARWALA A.High-qualitymotion deblurring from a single image［J］.ACM Trans.on Graphics，2008，27（3）：73-78.

［5］ LEVIN A，WEISSY，DURAND F，et al..Understanding blind deconvolution algorithms［J］.IEEE Trans.Pattern Anal. and Mach.Intell.，2011，33（12）：2354-2367.

［6］ JIA J.Single imagemotion deblurring using transparency［C］//IEEE Conf.on Computer Vision and Pattern Recognition，June 17-22，2007，Minneapolis，MN，2007.

［7］石明珠，许廷发，张坤.运动成像混合模糊的全变分图像复原［J］.光学精密工程，2011，19（8）：1973-1981. SHIM ZH，XU T F，ZHANG K.Total variation image restoration for mixed blur in moving image［J］.Opt.Precision Eng.，2011，19（8），1973-1981.（in Chinese）

［8］冯亮，王平，许廷发，等.运动模糊退化图像的双字典稀疏复原［J］.光学精密工程，2011，19（8）：1982-1989. FENG L，WANG P，XU T F，et al..Dual dictionary sparse restoration of blurred images［J］.Opt.Precision Eng.，2011，19（8）：1982-1989.（in Chinese）

［9］ JOSHIN，SZELISKIR，KRIEGMAND J.Psf estimation using sharp edge prediction［C］//IEEE conf.on Computer Vision and Pattern Recognition，June 23-28，2008，Anchorage，AK，2008.

［10］温博，张启衡，张建林.应用自解卷积和增量Wiener滤波实现迭代盲图像复原［J］.光学精密工程，2011，19（12）：3049-3055. WEN B，ZHANG Q H，ZHANG JL.Realization of iterative blind image restoration by self deconvolution and increment Wiener filter［J］.Opt.Precision Eng.，2011，19（12）：3049-3055.（in Chinese）

［11］郭永彩，王婀娜，高潮.空间自适应和正则化技术的盲图像复原［J］.光学精密工程，2008，16（11）：2263-2267.GUO Y C，WANG EN，GAO CH.Blind image restoration algorithm based on space-adaptive and regularization［J］.Opt. Precision Eng.，2008，16（11）：2263-2267.（in Chinese）

［12］杨航.图像反卷积算法研究［D］.长春：吉林大学，2012. YANG H.Study on image deconvolution algorithm［D］.Changchun：Jilin University，2012（in Chinese）.

［13］ YANG H，ZHANG ZH B.Fusion ofwave atom-based wiener shrinkage filter and joint non-iocalmeans filter for texturepreserving image deconvolution［J］.Opt.Eng.，2012，51（6）：67-75.

［14］ HUANG H Y，YANG H，MA S L.Gradient based image deconvolution［J］.J.Electronic Imaging，2013，22（1）：013006.

［15］ HE K，SUN J，TANG X.Guided image filter［J］.IEEE Trans.Pattern Anal.Mach.Intell.，2013，35（6）：1397-1409.

Imagemotion blurring restoration of joint gradient prediction and guided filter

ZHU Ming，YANG Hang*，HE Bai-gen，LU Jian-feng
（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：yhang3109@163.com

Tomodify the imagemotion blurring induced by the relative positionmotion between a camera and a subject，a robust blind deconvolution method based on single imagemotion blurring was proposed.Firstly，the strong edges of a latent imagewas predicted.By constraining image gradient，the point spread function in frequency domain was estimated fast and robustly by thismethod.After that，the non-blind deconvolution algorithm based on the gradient constrain was used to restore the latent image.Meanwhile，a new edge preserving filter-guided filterwas used to suppress the ringing and noise.Experiments show that the proposedmethod can restore a high quality imagewith clear edges and tissues from singlemotion blurring image，and the operation time is less than 20 s.

gradient prediction；motion blurring image；image restoration；guided filter

TP391.4

10.3788/CO.20130606.0850