贺文熙，叶坤涛

（江西理工大学理学院，江西赣州341000）

基于BP神经网络的数字图像修复

贺文熙，叶坤涛

（江西理工大学理学院，江西赣州341000）

考虑到BP神经网络非凡的学习能力和非线性映射能力，提出了利用BP神经网络修复数字图像.由于一般的BP神经网络收敛速度较慢，且易陷入局部极小，产生振荡现象.因此考虑在梯度下降算法的基础上引进动量因子，结果发现收敛速度加快、振荡现象减轻.该方法根据待修复区域的边界寻找相似块，利用相似块周围像素数据得到BP神经网络的权值和阈值.试验表明：文中的方法相对于利用偏微分方程（如BSCB方法）速度要快，而且具有更大的ISNR.

图像修复；相似边界；BP神经网络

0前言

现在数字图像修复是一个热点问题，修复结果的好坏主要通过感观判断.过去人们依靠手工的办法修复破损或者有污渍的图像，费时费力.人们自然渴望能方便快捷地修复图像.2000年，Bertalmio等人[1-2]首次提出了利用三次偏微分方程算法进行图像修复（即BSCB模型），算法中心思想是充分利用需要修复区域边缘的信息沿梯度垂直方向扩散到待修补区域内.BSCB方法修复速度过于缓慢而且不稳定.如果图像中出现了大面积的污渍，可用Criminisi和Efros及Shih T K等人[3-5]提出的基于样图或基于纹理的修复方法进行修复.这种方法由于需要不间断全局寻找匹配块，直到修复完毕，所以仍然非常费时，而且可能产生误匹配.本文提出利用相似边界邻域寻找相似块，只需匹配一次.寻找相似块的原因是考虑到待修复区域的像素值一般未知，但两个区域若边界邻域是相似的，则边界内的像素值分布也是相似的应是大概率事件，特别是对于人物图像更是如此.鉴于此本文提出：根据待修复区域的边界邻域寻找相似块，再利用相似块周围像素数据训练网络，从而得到BP神经网络的权值和阈值.选择引入动量因子的BP神经网络是因为可以减少振荡、加速收敛.修复时遵循从外及里的原则，一层一层处理.试验表明：利用该方法修复图像ISNR值大，费时较少，且主观效果自然流畅.这种方法也能应用于近红外图像的修复.

1 寻找相似边界邻域

首先要得到待修复区域的相似边界邻域，毫无疑问这是很关键的.可以定义一个复合向量[6]：

其中：Nε（s）表示关注点的一个小邻域，r→i为待关注点s指向任一邻域像素p的向量.因待修复点的邻域（东南西北）存在未知像素，且考虑到待修复点和近邻点关系最大，故i取6.再定义复合向量的二范数为：

其中u0和ui分别表示关注点的灰度和它的任一邻域像素的灰度.

按照这一定义的二范数显然满足范数的3个条件.

以上三式中的→α、→β向量就是如上定义的任意两个复合向量r→，三式显然成立.

定义了复合向量的二范数后再定义相似边界邻域.所谓相似是指像素值分布近似,相似边界就是指两条边界大小（即像素数）几何形状一样.

定义1严格相似边界邻域

严格相似边界邻域须满足如下两条：

（1）待修复区域的边界和找到的边界的两两对应像素（即在下面的定义M和N中，A1M对A1N，A2M对A2N等等，依此类推）的二范数应为极小.

（2）邻域对应点的二范数也应为极小.为了说明问题方便和加快修复速度，引入细胞矩阵M和N.

对于第一条，细胞矩阵M和N里每一个单元只有一个元素，即Mj=1,i为边界上像素的个数.对于第二条，j=6.严格相似边界邻域有时很难寻找，这时可以利用广义边界邻域进行修复.

定义2 广义相似边界邻域

广义相似边界邻域指边界上存在大小近似相等的像素，不要求相对应位置上的像素值相等，只要求存在大小近似相等的像素值.这是由于神经网络只是用这些数据进行训练网络，调整网络的权值和阈值.

2 BP神经网络

2.1 BP神经网络框图

利用神经网络模型控制电机转速[7-9]、对图像进行分割[10]、图像复原[11]、进行图像增强[12-13]、图像去噪[14]等经常见诸于各种期刊，BP神经网络模型应用于图像修复难觅踪影.考虑到每个像素看作一个神经元，近邻的神经元密切通讯，因此可引入神经网络修复数字图像.而引入动量的BP神经网络在梯度下降算法的基础上引进动量因子，该算法是以前一次修正结果来影响本次修正量，当前一次的修正量过大时可以使得式（3）第二项的符号与前一次的修正量的符号相反，从而使本次的修正量减小，起到减小振荡的作用；当前一次修正量过小时，式（3）第二项的符号与前一次的修正量的符号相同，从而使本次修正量增大，起到加速修正的作用[15].网络模型如图1所示.本文只需取2层，输入层神经元13个，输出层神经元1个.学习速率取0.01，动量因子为0.6，允许误差取10-3，迭代次数为5000，传输函数使用logsig.

图1 BP神经网络模型

2.2 BP神经近似均方误差的最速下降法及网络的权值和阈值更新

基于均方误差的最速下降算法为[16]：

其中，α和γ是标量，Wm、bm、Fˆ和Sm是矩阵.近似均方误差Fˆ为：

其中，t为目标输出向量，α是实际输出向量.利用链法则得：

其中，nm为第m层第i个输入.根据神经网络输

i入、输出关系得：

故有

考虑到sm是向量有：

sm的计算需要利用雅可比矩阵

经过计算可得：

由于BP网络是反向传播敏感性，计算sm必须先得到最后一层的sM.

3 试验结果及分析

试验以Matlab6.5为平台，在PC机（Pentium 4，2.94 GHz,内存在512 MB）上实现.像素值用归一化处理，最后结果再反归一化.为了比较各种模型的修复效果引入ISNR作为客观评价标准.ISNR的定义是：

上式中I（I，j）、J（I，j）和Iˆ（i，j）分别表示原图像、受损图像和修复后的图像的灰度.对于BP神经网络，修复时间主要是寻找相似区域的时间.为了提高修复速度可以根据待修复区域的特点缩小寻找范围，神经网络的训练仅需一次.而利用BSCB模型方法需不断迭代，速度很慢.

利用BP神经网络修复图像具体步骤为：

1）读入原图像、受损图像和掩模图像

对原图像进行人为破损，为了便于PC机识别受损区域，必须对破损区域掩模（如用红色标记）.

2）利用定义二找到广义相似边界

根据图像大小确定平移量.对待修复区域边界进行平移操作，计算二范数.找到二范数最小的边界.

3）基于广义相似边界像素的灰度值训练BP网络

读入广义相似边界及邻域灰度值，训练网络.网络输入层神经元13个，输出层神经元1个.学习速率取0.01，动量因子为0.6，允许误差取10-3，迭代次数为5000.得到的权值和阈值存盘.

4）由外及里逐个修复受损区域

利用待修复区域的邻域像素灰度值作为训练好的BP网络的输入向量，得到受损区域像素的灰度值.

利用BSCB模型修复图像具体步骤为：

1）读入原图像、受损图像和掩模图像

对原图像进行人为破损，为了便于PC机识别受损区域，必须对破损区域掩模（如用红色标记）.

2）离散BSCB模型各向异性扩散方程

方程为

u为像素的灰度，gε是在待修复区域内为1，在待修复区域边界上为零的函数，α代表曲率.

用半点中心差分格式对BSCB模型方程离散化.

3）设置一个门限

当相邻的两次计算结果小于门限时，迭代结束.

修复试验如下：有些珍贵的历史照片上出现了我们不希望出现的物体，就有必要去除.修复情况见图2.

图2 移除多余物体试验

有时要去除照片上多余的广告文字，修复过程见图3.

图3 去除广告文字试验

照片上的划痕也是必须去除的，修复过程见图4.

图4 去除划痕试验

BSCB模型和BP神经网络模型修复时间的比较见表1.

表1 神经网络模型和BSCB模型修复时间比较

BSCB模型和BP神经网络模型ISNR的比较见表2.

表2 神经网络模型和BSCB模型ISNR比较

以上试验表明：基于BP神经网络模型在移去多余物体、去除不需要的文字等方面都得到了较好的结果.相对于BSCB模型而言，BP神经网络模型在训练过程中，只要达到了精度要求，即可保存好权值和阈值矩阵，修复过程中反复调用即可.不须每修复一个像素叠代一次，从而可以节约时间.修复图像时INSR值可达约19.5 dB.这是由于神经网络模型模拟了人脑的感知和学习能力,而且有很强的泛化能力，所以修复后的图像看上去非常自然.当然这种模型也可用来修复彩色图像，这时只要把彩色图像按三个通道分解即可.

[1]Bertalmio M,Bertozzi A L,Sapiro G.Navier-stokes,fluid dynamics, and image and video inpainting[C]//Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2001,1:355-362.

[2]Bertalmio M,Sapiro G,Caselles V,et al.Image inpainting[C]// Proceedings of the 27th annual conference on Computer graphics and interactive techniques. ACM Press/Addison -Wesley Publishing Co.,2000:417-424.

[3]Drori I,Cohen-Or D,Yeshurun H.Fragment-based image completion[C]//ACM Transactions on Graphics (TOG).ACM, 2003,22(3):303-312.

[4]Guo H,Ono N,Sagayama S.A structure-synthesis image inpainting algorithm based on morphological erosion operation[C]// Image and Signal Processing,2008.CISP'08.Congress on.IEEE, 2008,3:530-535.

[5]Shen J,Chan T F.Mathematical models for local nontexture inpaintings[J].SIAM Journal on Applied Mathematics,2002,62 (3):1019-1043.

[6]贺文熙，丁兴号.一范数在图像修复中的应用[J].计算机工程与应用，2010，46(19):164-165.

[7]李毓洲，阳 林．基于小波神经网络的永磁同步电机无速度传感器控制[J]．微电机，2010，43(7):53-56．

[8]孙大洪，王发展，刘 强，等．基于BP和RBF神经网络的滚动轴承故障诊断比较[J]．轴承，2010(2):53-56．

[9]郜克存，戴瑜兴，蒋 近．基于小波神经网络的PWM整流器电流检测算法[J]．电力电子技术，2011，45(4)：61-65.

[10]王津京，赵德安，姬 伟，等．基于BP神经网络的苹果图像分割算法[J]．农机化研究，2008(11)：19-21.

[11]丁 伟．基于小波混沌神经网络的图像复原算法[J]．计算机与数字工程，2012，40(9)：106-109.

[12]Cheung H N,Bouzerdoum A,Newland W.Properties of shunting inhibitory cellular neural networks for colour image enhancement [C]//Neural Information Processing,1999.Proceedings.ICONIP'99. 6th International Conference on.IEEE,1999,3:1219-1223.

[13]Ma Y,Lin D,Zhang B,et al.A novel algorithm of image enhancement based on pulse coupled neural network time matrix and rough set[C]// Fuzzy Systems and Knowledge Discovery,2007.FSKD 2007.Fourth International Conference on.IEEE,2007,3:86-90.

[14]李云红，伊 欣．基于脉冲耦合神经网络模型的小波自适应斑点噪声滤除算法[J]．光学精密工程，2012，20(9)：2060-2067.

[15]周开利，康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京：清华大学出版社，2005.

[16]（美）Martin T Hagan,Howard B Demuth,Mark H Beale.神经网络设计[M].戴 葵，译.北京：机械工业出版社，2003.

Image inpainting based on BP neural network

HE Wen-xi,YE Kun-tao

(Faculty of Science,Jiangxi University of Science and Technology,Ganzhou 341000,China)

BP neural network used to repair digital images has be proposed,considering the traits of BP neural network which has an extraordinary capacity for learning and the non-linear mapping.Because ordinary BP neural network converge at a slower rate,fall in to a local minimum easily,and produce oscillatory behavior, introduction of momentum on the basis of the gradient descent algorithm is considered.It get faster convergence speed,smaller oscillation phenomena.Similar blocks will be found in accordance with the border of areas to be restored.With similar block pixel data,BP neural network get its weights and thresholds.The experiment results show this model spend less time than the model utilized partial differential equation(PDE) (for example BSCB),and this model has larger ISNR than PDE model.

image inpainting;similar boundary;BP neral network

TP319.41

A

2095-3041（2014）00-0065-05

10.13265/j.cnki.jxlgdxxb.2014.01.011

2013-09-06

江西省教育厅科技项目（GJJ11468）

贺文熙（1963- ），男，副教授，主要从事数字图像处理等方面研究，E-mail:hwxhhd@126.com.