李 亮，郭树旭，陈国法

（吉林大学 电子科学与工程学院，长春 130012）

基于偏微分方程的图像修复算法

李 亮，郭树旭，陈国法

（吉林大学 电子科学与工程学院，长春 130012）

针对TV模型修复算法只沿梯度垂直方向扩散，容易在平滑区域引入阶梯效应，迭代效率低，易产生假边缘的缺点，分析比较了TV图像修复模型的性能，提出了一种改进的图像修复算法。该算法同时结合了各向同性和各向异性扩散，利用区域频率差异实现了在不同的区域使用不同的迭代方程，有效避免了原始算法引入的阶梯效应，提高了迭代效率。实验结果表明，该算法与TV模型算法相比，在具有同样修复效果的前提下，避免了阶梯效应并优于TV模型的修复速度。

图像修复；各向同性；各向异性；TV模型；阶梯效应

0 引 言

图像修复技术［1］是图像处理［2－4］中的重要组成部分，图像修复是根据图像中的已知区域的相关信息，恢复信息缺失区域中的信息。根据图像修复理论和方法的不同特点，图像修复技术大致可以分为两大类：1）基于结构的图像修复技术［5－10］；2）基于纹理合成的图像修复技术［11－15］。基于结构的图像修复技术适用于对划痕、污渍和文字等小目标区域的修复，基于结构的修复算法核心思想是利用物理学中的热扩散方程将待修补区域周围的信息传播到待修补区域中。TV模型修复存在平滑区域修复时易出现阶梯效应的缺点。笔者在前人算法基础上提出了一种改进算法，采用各向同性和各向异性相结合的扩散模式，在像素梯度较小的区域采用各向同性扩散，提高迭代速度，而在像素梯度值较大的区域采用基于P-laplace算子［16］的各向异性扩散，避免了图像平坦区域修复时出现的阶梯效应。实验结果表明，该算法具有很好的修复效果和良好的收敛性。

1 基于TV模型修复算法

TV模型最早是由Ruin提出的一种图像去噪模型，他通过扩展基于TV的去噪模型，提出了基于TV模型的图像修复方法，能在有噪声的情况下有效地对图像进行修复。TV模型修复算法主要利用偏微分方程求能量最小化泛函，再利用Lagrange乘子转换成无约束条件的极值问题，然后求解满足Euler-Lagrange的方程，方程的解就是图像的修复结果，具体过程如下。

图1 图像修复示意图Fig.1 The sketch map of image inpainting

记D为待修复区域，E为待修复区域的邻域，记修复后的区域为u，待修复区及其邻域为Ω（见图1）。定义代价函数

其中R为一非负实函数，u为图像。

考虑到图像可能被噪声污染，在修复的同时还应去噪，所以需满足噪声约束条件

假定初始信号是被白噪声污染的，σ是白噪声的标准方差。

要满足修复边缘的条件，必须选择适当的r函数，即r函数有限时边缘才能修复，这里取r＝（｜▽u｜）＝｜▽u｜［17］。运用拉格朗日乘子法将式（1），式（2）转化为无约束条件极值问题，其新的代价函数为

式（3）中第1项为正则化项，第2项为保真项，λ为Lagrange乘子。

式（3）对应的能量最小泛函方程为

对于一切z＝（x，y）∈E，z为像素点，lagrange乘子λ满足

用梯度下降法求解式（4）有

解得u值即为所求的最终修复图像。

1.1 TV模型的缺点

TV模型修复算法运用了二阶偏微分方程，有较完整的数学理论基础，数值实现上较简单，在保持边缘的同时达到去噪的目的。但从TV修复方程的迭代过程看，它是一种各向异性扩散的过程。事实上，在图像特征明显的区域应该使用较慢的迭代速度，而在图像特征不明显的区域（如图像的平滑区域），其修复的迭代速度应该加快，而TV模型的这种单独使用各向异性扩散的过程，使其扩散效率较低。再者，TV模型修复过程中，TV是沿着与梯度正交的方向和边缘方向扩散，反映出沿着不同的方向扩散系数不同的思想。而实际在图像的平滑区域是不存在边缘方向的，仍沿着边缘方向扩散，这将导致在平坦区域的噪声抑制不充分，甚至出现假边缘，文献［18］已证明出现假边缘原因是扩散系数不能随图像结构特征的变化而取值，产生阶梯效应。图2给出了一组由TV模型修复实验得到的图像。

图2 TV模型修复实验Fig.2 The experiment of inpainting based on TV

在图2中（n＝900steps，t＝4.85s），对有划痕的图像具有较好的修复，但是在平滑区域产生假边缘，存在阶梯效应。

2 新算法的改进与实现

图3 整体坐标与局部坐标示意图Fig.3 The sketch map of Integral coordinate system and local coordinate system

针对TV模型修复算法中存在的不足，提出一种各向同性和各向异性扩散相结合的图像修复模型。其基本思想是，首先对图像进行归一化处理，利用sobel算子计算待修复点的梯度。设定一像素点梯度阈值，当待修复点梯度小于给定阈值时，采用各向同性扩散；当待修复点梯度值大于给定阈值时，采用基于p-laplace算子的非线性的各向异性扩散。修复方程如下

当1＜p＜2时，方程是沿uζζ和uηη两个方向同时进行扩散的，｜▽u｜（p－2）和（p－1）｜▽u｜（p－2）分别控制两个方向的扩散速度，根据待修复区域邻域特征选择适当的p值，即可保持图像的边缘信息又可平滑噪声，所以该算法具有较快的修复速度。

2.1 数值计算

对扩散算子｜▽u｜p－2▽u离散化，令v＝（ν1，ν2）＝｜▽u｜p－2▽u，其中Δt为时间步长；u（n）表示待修复点在nΔt时刻的值。对于散度算子采用半点中心差分法实现。示意图如图4所示，∧＝［E，N，W，S］为待修复点O的4邻域像素点，［e，n，w，s］分别为对应的4邻域半点像素。

图4 目标像素O及邻域点Fig.4 Target pixel Oand its neighbors

记v＝（ν1，ν2）＝｜▽u｜p－2▽u，则▽·v离散化为

其中h为网格大小，一般取h＝1。对半点像素梯度值做进一步计算，下面以半点像素e（i＋，j）为例，e点梯度计算如下

将式（14）代入式（7）第二方程有

使用Gauss-Jacobi迭代算法，则图像值

经一步步迭代即可得到修复后的图像。

3 实验结果及分析

笔者算法是在实验环境AMD Athon（th）64Processor3000，CPU 2.00GHz，内存512MByte硬件条件下，利用Matlab7.4.0编程进行的仿真实验。分别采用了lena图像，cameraman图像和老旧照片做对比实验（见图5～图7）。

图5 对比实验1Fig.5 Contrast test 1

图6 对比实验2Fig.6 Contrast test 2

图7 对比实验3Fig.7 Contrast test 3

由实验1和实验2可以看到，TV模型算法在平坦区域存在假边缘。实验1中TV模型算法在帽子处存在明显的假边缘，而改进算法避免了假边缘现象。

表1，表2数据是在T＝0.1，p＝1.8时的实验结果，可看以出，改进算法从迭代时间和峰值信噪比上都优于TV模型算法。由对比实验3看出，当图像划痕较小，破损面积较小的时候，改进算法和TV模型算法在修复效果上，不能从视觉上很好地进行判断，因此当修复结果从视觉上未能清晰区分修复效果时，应从数值上量化分析修复效果。理论上，多数采用峰值信噪比PSNR对修复结果进行评价

其中U为原图，U0为修复后的图像，M和N 为图像的行列值。可以看出，修复后的图像，其PSNR的计算结果越大，说明修复的效果越好，即修复后的图像与原始图像的差值越小。表1是3组实验的PSNR值的结果比较，从表1中可以看出，改进算法其PSNR计算结果值都大于TV模型算法的PSNR值，即改进后的算法的修复结果图更接近原始图像，修复结果优于TV模型算法。表2为TV模型算法和改进算法的修复时间效率对比，从表2中可以看出，改进的算法由于两个方向同时扩散，大大提高了修复的效率，修复所用时间比TV模型算法少。所以，无论从主客观上比较，改进算法都要优于TV模型算法。

表1 PSNR实验比较Tab.1 Peak value signal-to-noise ratio experimental comparison

表2 算法效率对比Tab.2 Compared the efficiency of the algorithm

4 结 语

笔者针对TV模型图像修复算法中存在的不足，提出一种改进算法。该算法中采用了各向同性和各向异性扩散相结合的扩散模式，主要通过计算待修复点的梯度值判断图像区域的平滑度。设定一梯度阈值，从而根据待修复点梯度阈值的大小选择修复方程，即在不同的区域考虑使用不同扩散的修复方程，有效地避免了原始算法在平滑区域引入的阶梯效应，扩散在两个方向同时进行，提高了修复效率。实验仿真结果说明，新算法具有较强的修复力和较快的收敛速度。

［1］张红英，彭启琮.数字图像修复技术综述［J］.中国图象图形学报，2007，12（1）：1-10.

ZHANG Hong－ying，PENG Qi-cong.A Survey on Digital Image Inpainting［J］.Journal of Image and Graphics，2007，12（1）：1-10.

［2］刘树昌，刘鹏，王延海，等.大容量高速视频图像传输技术研究［J］.吉林大学学报：信息科学版，2011，29（1）：21-24.

LIU Shu-chang，LIU Peng，WANG Yan-hai，et al.Research on Large-Capacity High-Speed Video Image Transmission Technology［J］.Journal of Jilin University：Information Science Edition，2011，29（1）：21-24.

［3］赵春彦，赵岩，陈贺新.基于边缘检测的深度图与单视图配准算法［J］.吉林大学学报：信息科学版，2011，29（3）：175-180.

ZHAO Chun-yan，ZHAO Yan，CHEN He-xin.Registration of Depth and Video Data Based on Edge Detection［J］.Journal of Jilin University：Information Science Edition，2011，29（3）：175-180.

［4］邵向鑫，郭树旭，王朗.基于边缘扩展相位相关的图像拼接算法［J］.吉林大学学报：信息科学版，2010，28（1）：95-99.

SHAO Xiang-xin，GUO Shu-xu，WANG Lang.Image Mosaic Algorithm Based on Extended Phase Correlation of Edge［J］.Journal of Jilin University：Information Science Edition，2010，28（1）：95-99.

［5］BERTALMIO M，SAPIRO G，CASELLES V，et al.Image Inpainting［C］∥Proc SIGGRA PH 2000.New Orleans，LA：［s，n.］，2000：417-424.

［6］CHAN T F，SHEN J.Mathematical Models for Local Deterministic Inpaintings［J］.Journal on Applied Mathematics，2002，62（3）：1019-1043.

［7］WANG Wei-wei，FENG Xiang-chu.Anisotropic Diffusion with Nonlinear Structure Tensor［J］.SIAM Joumal on Multiscale Modeling and Simulation，2008，7（2）：963-977.

［8］MARCELO BERTALMIO，LUMINITA VESE，GUILLERMO SAPIRO，et al.Simultaneous Structure and Texture Image Inpainting［J］.IEEE Trans on Image Processin，2003，12（8）：882-889.

［9］ESEDOGLU S，SHEN J H.Digital Inpainting Based on the Mumford Shah-Euler Image Model［J］.European Journal on Applied Mathematics，2002，13（4）：353-370.

［10］CHAN T F，SHEN J.Non-Texture Inpainting by Curvature-Driven Diffusions（CDD）［J］.Journal on Visual Communication and Image Representation，2001，12（4）：436-449.

［11］周珊珊，赵知劲，叶学义.采用 TV及纹理合成技术的分层图像修复［J］.计算机工程与应用，2011，47（23）：201-203.

ZHOU Shan-shan，ZHAO Zhi-jin，YE Xue-yi.Total Variation and Texture Synthesis Applied to Multi-Level Image Inpainting［J］.Computer Engineering and Applications，2011，47（23）：201-203.

［12］杨关，冯国灿，陈伟福，等.基于概率模型的图像纹理模型［J］.中山大学学报：自然科学版，2011，50（2）：6-15.

YANG Guan，FENG Guo-can，CHEN Wei-fu，et al.Texture Models Based on Probabilistic Graphical Models［J］.Acta Scientiarum Naturalium Universitatis Sunyatseni，2011，50（2）：6-15.

［13］张晴，林家骏，高深.基于色差分析的图像修复改进算法［J］.华中理工大学学报：自然科学版，2011，37（3）：367-371.

ZHANG Qing，LIN Jia-jun，GAO Shen.An Improved Colors-Analysis-Based Algorithm of Image Inpainting［J］.Journal of East China University of Science and Technology：Natural Science Edition，2011，37（3）：367-371.

［14］魏欣，蒋华伟.基于纹理和结构的图像修复算法研究［J］.计算机技术与发展，2010，20（9）：90-93.

WEI Xin，JIANG Hua-wei.Study on Inpainting Algorithm Based on Image Structure and Texture［J］.Computer Technology and Development，2010，20（9）：90-93.

［15］丁西明，段汉根，吴长勤.一种简单的块匹配图像修复算法［J］.计算机技术与发展，2010，20（11）：80-83.

DING Xi-ming，DUAN Han-gen，WU Chang－qin.Image Inpainting Based on Simple Block Matching［J］.Computer Technology and Development，2010，20（11）：80-83.

［16］张红英.数字图像修复技术的研究与应用［D］.成都：电子科技大学计算机学院，2006.

ZHANG Hong－ying.Research and Application on Digital Image Inpainting［D］.Chengdu：College of Computer，University of Electronic Science and Technology of China，2006.

［17］CHAN T F，SHEN J H.Mathematieal Models for Local Non-Texture Inpainting［J］.SIAM J APPl Math，2001，62（3）：1019-1043.

［18］WEICKERT J.A Review of Nonlinear Diffusion Filtering［C］∥Scale-Space Theory in Computer Vision.London：Springer-Verlag，1997，1252：3-28.

Based on Partial Differential Equations of Image Inpainting

LI Liang，GUO Shu-xu，CHEN Guo-fa
（College of Electronic Science and Engineering，Jilin University，Changchun 130012，China）

TV image inpainting only repairs algorithm along the vertical direction，making diffusion gradient in smooth area into stair step effect，reducing iterative efficiency，producing false edge faults.We analyse and compare the TV image restoration model and repair the performance of the model is put forward in this paper.Puts forward an improved image restoration algorithm，the algorithm in combination with the isotropic and anisotropic diffusion，the use of regional frequency difference in different area realized the use of different iterative equations，effectively avoid the original algorithm introduces ladder effect，to improve the iterative efficiency.The experimental results show that the algorithm and the TV algorithm，have the same effect on the premise of repair，the algorithm avoids the stair step effect at the same time with the model is better than TV repair speed.

image inpainting；isotropic diffusion；anisotropy diffusion；TV model；step effect

TP391.41

A

1671-5896（2012）01-0072-06

2011-11-19

李亮（1980—）男，吉林松原人，吉林大学硕士研究生，主要从事图像处理、数字信号处理研究，（Tel）86-18943628007（E-mail）lliang09＠mails.jlu.edu.cn；郭树旭（1959—），男，长春人，吉林大学教授，博士，博士生导师，主要从事信号检测与信息处理等研究，（Tel）86-13089111921（E-mail）guosx＠jlu.edu.cn。

（责任编辑：刘东亮）