罗媛媛 ，于林韬

（1.长春理工大学 电子信息工程学院，长春 130022；2.沈阳铁路公安局 长春公安处消防监督支队，长春 130022）

图像这一信息的载体，作为人类视觉的主要来源，以其生动具体而且直观的表达形式成为了人类快速传播和获取外界信息的主要途径。目前在娱乐、安全、工业、监控以及军事领域，图像都是作为信息的主要记录和传播载体发挥着重要的作用［1］。

目前随着计算机技术的普及，人类记录图像信息的主要方式已经是数字化的媒介载体，通过数字化的采集、处理、存储和传播满足人类对不同图像的需求。而在这一系列的过程中，随着数字化的处理和转换，数字图像不可避免的会被各种类型的噪声干扰，从而导致图像中存储的有效信息的损失，造成图像质量的下降。在进行图像的显示处理，如图像目标识别和特征提取等操作时，会造成严重的影响，阻碍信息的有效传播和保存［2］。因此，对数字图像去噪算法的研究一直都是图像处理领域中的重要研究方向。

受限于数字图像采集设备的局限，不会存在完全干净而没有噪声的图像，这是由于采集设备的制程精度以及采集环境的光照特性影响决定的。在采集设备获取图像的过程中，往往就会引入多种类型的噪声，比如以CCD相机为例，其采集图像的流程和在各阶段中引入的噪声如图1所示。

图1 CCD相机采集图像的流程

如果没有存在于传感器中的各种互相独立的误差源，那么CCD相机采集的图像亮度是会正比于环境中的光照亮度的，这也是理想状态下的亮度模型。但是从图1中可以看出，在CCD相机采集图像的过程中，会存在多种类型的噪声源，如暗电流噪声、热噪声、光电子噪声、散粒噪声和固定模板噪声等［3］。上述各种噪声类型都是在采集设备中引入的噪声，在完整的图像采集设备中不可避免的需要一些图像软硬件处理工作，如伽马曲线校正、去马赛克处理和白平衡矫正等工作。如果需要减小图像存储的空间，还需要对raw图像进行压缩处理，这一系列的处理过程都会引入噪声，并对最终图像中的噪声模型产生影响。因此，实际图像中的噪声特性会非常复杂，但是通过大量分析还是将其近似的看做是服从高斯分布的模型。基于此原因，论文是在高斯噪声模型的假设前提下开展对图像去噪算法的研究工作的。

1 常用的多帧图像去噪算法

在基于多帧的图像去噪算法中，比较关键的两个步骤是对图像中的特征进行提取，并根据相似的特征对图像进行融合，其中，图像特征的提取也被称为图像的配准。在图像特征的提取时，比较常用的算法有基于多尺度变换的角点检测算法，Harris焦点检测算法和SIFT算子检测算法等［4］。而图像融合算法根据采用对象的不同可以大致分为基于特征的融合算法和基于像素值的融合算法，虽然采用的方式不同，但图像融合的最终目的都是实现对多帧图像中复杂信息的充分使用，以便其适合于后续计算处理，并得到人眼主管视觉感受良好的图像效果。

下面简单介绍几种多帧图像去噪算法的基本方法。

1.1 时域平滑去噪算法

这种算法是时域去噪的最基础的算法，其理论思想非常简单，考虑到噪声符合高斯随机过程，那么其在图像上的位置和强度都是随机的，那么通过累加多帧图像后在进行平均［5］，就可以将噪声部分消除而保留图像有效信息，时域平滑去噪模型可以表示为：

式中，fi(x,y)表示输入的含噪图像；g(x,y)是经过处理之后的图像；E表示累加平均过程。

1.2 基于单参考块的多帧块匹配去噪算法

这种算法是在2008年前后提出的，其算法基本思想是采用了非局部特征的去噪理论［5］，通过将含噪图像进行块划分，将图像划分为N个大小一致的图像块，并通过比较其相似度来生成当前图像块的权重因子，如图2所示。

图2 参考块匹配搜索示意图

通过在参考图像中，一定的邻域块范围内来搜索与当前观测图像中图像块最为相似的那个参考块，并以此来确定权重系数，去噪的算法公式如下：

这里的权重因子是通过计算参考块图像和参考图像中的某个参考块的噪声方差来得到的，并且评价图像块之间相似度的指标是图像块之间的欧式距离。

这种算法得到的结果图虽然滤除了大多数的噪声，但是也过多的抹除了图像中原本的细节信息，给人眼的主观感受并不是很好。这也是其过多的利用了时域信息的同时，并没有很好的利用空域的信息，或者说没有平衡好两者间的权重分配所导致的。

2 算法改进

2.1 多参考块时域非局部块匹配去噪算法设计

通过时域多帧图像时域平滑去噪的方式，可以最大化的利用图像中的时域特征信息，而在此基础上，选用合理的空间域信息相关性的处理可以更好的实现图像的去噪效果。前节介绍的非局部去噪算法是对空间域上信息的相关性利用作为良好的算法，这种算法充分的利用图像中大量的自相关信息来搜索图像中的那些高度相关的图像块，在此基础上进行图像的去噪可以实现最好的效果。而对于多帧图像而言，帧与帧图像中也存在着类似的非局部相似性关系，因此通过将非局部相关性的思想应用在多帧图像的时域中，有助于更高的实现对原始图像细节的保留和噪声的去除。

在独立图像中应用非局部去噪算法，将当前像素周围邻域大小的矩形图像块作为参考块来进行块匹配运算，并计算得到权重因子。在多帧图像去噪算法中，在当前像素所处的坐标位置处会存在多个参考块，因此可以进行块匹配的参考图像会更多。

非局部算法的核心思想是通过划分图像块的方式对图像进行重构，以划分后的图像块作为处理单位，而不是以单个像素作为处理单位，因此可以大大提高相似度评价的可靠性。图像块的选取一般是以当前坐标为中心，包含一定矩形大小邻域像素而形成的。如果采集多帧图像可以在非常短暂的时间内完成，就可以达到时域的相关性高于空间域的相关性。因此，可以采用一种方法来充分的利用时域的高相关性。前文提到的时域平滑去噪算法可以通过对多帧图像进行累加平均得到非常好的去噪结果，那么对同一位置上的图像块的权重因子同样进行累加平均也可以得到更加有效的权重因子。而在空间域上，通常在距离当前图像块更近的图像块会具有更强的相关性，因此在文中，提出了一种基于时域特征和多个参考块的非局部去噪算法，这种算法首先采用非局部滤波的方法，对处于同一坐标系位置时域上的多个参考块进行平均得到多帧图像各个图像块的权重因子，然后利用时域滤波加强权重因子的可靠性，权重因子的计算示意如图3所示。

图3 权重因子的计算示意图

在图3中，时域上连续的两帧含噪图像，记为A和B，a0是位于A上面的一个像素点，a1是对应相同位置，但是出于不同时间点，即图像B中的像素点。b0是位于图像A中，同a0高度相似的的像素点，b1是位于图像B中同a1高度相似的像素点。由于空间域上面距离较近的那些像素具有更高的相似性，因此图3中a0和a1之间的相关性会被认为具有更高的可靠性，而b0和b1之间计算的到的相关性具有更低的可靠性。在计算相关性的具体做法是，采用了频域图像的欧式距离计算评价方法，并利用下式来实现。

可以看出，原始图像在两个坐标位置上的相似像素在噪声图像里面也是具有同样的相似性。

在时域上面，由于多帧图像采集是在很短暂的时间间隔内，因此同一位置上面的像素具有最高的相似性，即和相似性最高。而在随机过程中，多个随机变量的平均化处理之后的结果会随着随机变量数量的增加而趋向于得到一个常数值，因此利用时域多帧图像的平均化处理可以最大程度的利用图像在时域上面的相关性来实现去噪效果。

文中提出的基于多参考块和非局部算法的多帧图像去噪算法，会充分的联合利用图像在时域和空间域上面的特性来得到更好的去噪效果，算法对图像块的搜索利用的示意如图4所示。

在对含噪图像完成图像块的划分之后，以当前坐标像素为基准的参考块进行相似块的搜索工作，搜索的范围旨在当前的含噪图像中。以图4中的像素作为说明基础，同一帧图像中的像素a0和b0处于同一空间域之中，因此可以用上面给出的公式来计算它们之间的欧氏距离，并以此为基础进行相似性的评估，可以计算出具体的权重因子w(a0,b0)，同样类似的，也可以计算出a1和b1的权重因子w(a0,b1)，在此基础上，通过式（5）可以计算出坐标系位置上，处于像素a的一个估计值：

在式（6）中，通过对短暂时间间隔内采集的N帧图像进行加权估计，这里的权重系数可以通过下面的具体公式计算得到。

图4 图像块的搜索示意图

这里就考虑了图像块的结构来进行权重的计算，图像块选择了当前像素为中心的方形邻域像素集合，在时域中各个含噪图像中以其各自当前像素的邻域块作为参考块进行权重的计算，不需要考虑其他帧含噪图像的信息。因此可以得到N个连续的、位于各个帧图像内部的权重因子，也就是空间域的权重因子。在此基础上，计算得到时域的权重因子为：

按照上面的计算，逐个坐标位置来遍历整个图像就可以获得整个估计图像，实现对含噪图像的去噪处理。在式（8）中，h是控制权重衰减快慢的一个因子，通常称之为平滑因子，在噪声比较大的时候可以控制权重快速的衰减。h的取值范围一般在10～15倍的噪声方差内获得，通过研究分析，并结合对噪声方差的合理估计，在此将h的取值定位10倍的噪声方差。

2.2 自适应权重时域非局部块匹配去噪算法设计

上面所讨论的算法利用了时域和空间域的很多相关性来实现图像噪声的去除，但是在考虑到噪声具有其固有的随机性的前提下，计算的准确性会受到影响。因此在该算法基础上，进一步来分析如何更加充分的考虑噪声的随机性特征，并深挖非局部去噪理论中可以利用的特性来提高相似性的计算，并提出了自适应权重的去噪算法。

对于时域上连续的多帧图像，如果可以在短时间间隔内完成图像的采集，那么这些图像中包含的噪声期望值就可以较好的符合下面的特征。

式中，x和y都是在二维空间域中的坐标；f是真实图像的估计；而E是通过时域平均算法得到的去噪图像。这一图像的均方差与各个含噪图像的均方差由式（10）来描述：

随着多帧图像数量的增加，平均之后的图像中，噪声在每一个像素中对有效信息的干扰就越低，当N趋于正无穷时，噪声的干扰就趋于0。因此，时域平均算法得到的去噪图像可以作为较为合理可靠的估计值。

在进行时域相关性的计算评估时，相似性的计算的正取与否会产生很大的影响，并且在进行空间域相关性的计算评估时同样会产生很大的影响，因此可以看出，相似性的计算方法是很重要的一个因素。因此，本节中提出了一种基于自适应权重因子的去噪算法，算法流程如图5所示。

图5 自适应权重时域非局部块匹配去噪算法流程

这种算法利用了时域平均算法实现对噪声的削弱，然后在此基础上去遍历整个含噪图像实现对整张图像的去噪，如图6所示。

图6 多图加权自适应方式示意图

图6中的图像A-D是在短暂时间间隔内，通过采集设备采集到的时域连续多帧图像，通过时域平均得到了图像M。那么很自然的，图像M中的噪声已经得到了平滑抑制，可以在图像M中计算噪声的期望值，并且该期望值会更加贴近真实的期望值。图6中a0、a1和m0都是出于同一坐标位置上的时域不同的像素点，由于m0是更加准确贴近真实像素的估计值，因此可以得到以下的结论，那就是通过计算a0和m0的差异，以及计算a1和m0的差异，就可以通过这样的差异来得到比较可靠的在时域上面的随机噪声a0、a1，由于采集的时间很短，那么同样坐标位置上的像素值就具有大小相近的噪声强度，也就是说时域上对应的像素点与平均图像对应位置点的差异更能反映噪声的随机性。因此这两个差异也非常近似。论文中提出的自适应权重的去噪算法，利用多帧图像同平均后的参考图像进行时域权重因子的计算，可以更加准确的计算相似性。

而从空间域的角度来考虑这个问题，非局部算法的权重值计算采用了欧式距离，而欧式距离反映了图像像素或者图像块之间在结构上和噪声强度上的差异，考虑邻域之间的差异，差异值同权重因子成反比例关系。因此如果利用均值图像来计算权重因子，而不是利用原始含噪图像来计算权重因子，会出现噪声减弱的情况。然而本论文在此章节中提出的算法，可以将这个问题很好的化解，提高计算欧氏距离的相似性更加准确。图7是自适应算法相似块搜索的一个示意图。

每一个像素的估计值通过以下的公式计算得出：

这里的权重因子的计算具体如下：

可以看出自适应的算法只有一个参考块而不是多个参考块，并且这一个参考块位于平均图像中。归一化因子Z通过下面公式计算得出：

同样对整个图像，逐像素应用上面的计算，就可以得到最终的去噪图像。自适应的算法由于提高的相似性因子的计算准确性，因此权重因子的分配更加合理，从而得到更佳的去噪图像。

图7 自适应算法相似块搜索

3 实验结果及其分析

3.1 图像噪声的评价标准

图像噪声的评价需要通过合适的、公式化的计算模型计算出结果图像的评价指标，其针对一张图像具有唯一性，并且可以量化的表征图像的质量，是比较客观的图像评价指标［6］。通常使用峰值信噪比模型来对去噪图像进行客观评价。

峰值信号比是图像处理领域中应用最为广泛的评价指标，其具体含义是计算信号最大的功率和信号功率的比率来评价图像中噪声的占比［7］，计算公式如下所示：

峰值信号比最后计算出的数值越大，说明信号的功率占比更高，因此图像的质量越好，反之亦然。

3.2 实验结果

为了测试本文提出算法的有效性和去噪效果，选取了Lena测试图片作为算法测试库，为了模拟多帧图像序列，在图像中添加同一强度的高斯噪声，保持高斯噪声的均值和标准差均为一致。评价图像质量的客观指标选取PSNR，可以快速计算的同时保证评价客观有效。该图片包含平坦区域和细节丰富的区域，可以涵盖大多数测试情况。在实验中，首先通过添加高斯噪声的方式得到多帧含噪图像，并在此基础上进行算法的仿真，比较验证本文提出算法的有效性，在本章中，将多帧图像的具体数目设定为4帧。

为了对比本文提出的算法，在测试实验时，除了应用本文提出的多参考块时域非局部块匹配去噪算法和自适应权重时域非局部块匹配去噪算法对多帧含噪图像进行去噪处理外，还选取了其他两种算法作为参考组进行对比，分别是基于单帧图像的非局部去噪算法和基于时域平滑的去噪算法。通过在图8中的四组，各四帧图像上面应用这些算法，得到各自算法的去噪图像，计算这些结果图像与原始图像的PSNR指标，来比较算法的客观优劣。

图8 Lena图像在中等噪声强度下去噪算法结果图

为了更好的给出主观感受，将以上六幅图像的相同局部进行放大，展示如图9所示，可以更好地观察去噪质量。

通过图9所示的结果局部放大，从视觉观察角度可以看出，基于单帧图像的非局部去噪算法处理后残留的噪声最多，对人眼主观感受影响较大。基于时域平滑的去噪算法可以较为清晰的还原图像的细节部分，平坦部分的噪声去除比较明显，但是还是有相当的噪声残留保持在图像中。本文提出的多参考块时域非局部块匹配去噪算法的处理结果同上面两种算法相比主观质量有了很大的提升，平坦区域的噪声更少，纹理细节丰富的区域噪声相当少。本文提出的另外一种算法，自适应权重时域非局部块匹配去噪算法可以得到更加纯净的图像，在上面几种算法中，无论平坦区域还是纹理细节区域，都与原始图像非常相近，噪声的残留和干扰都比较稀少。

图9 Lena图像在中等噪声强度下去噪算法结果局部放大图

通过主观观察几种算法的去噪结果后，再对比他们的PSNR指标，并绘制对比图，如图10所示。

图10中针对Lena测试图进行不同噪声强度下的算法处理比较。水平坐标轴上的1、2、3、4分别代表基于单帧图像的非局部去噪算法、基于时域平滑的去噪算法、多参考块时域非局部块匹配去噪算法和自适应权重时域非局部块匹配去噪算法。圆点、方形和菱形代表在添加了不同噪声强度，可以看出，本文提出的两种算法的PSNR指标要高于其他两种对比算法，并且随着噪声强度的增加而更加明显。

图10 Lena测试图几种算法去噪PSNR指标比较

上面的测试中，设定的含噪图像的数目为4，为了验证用于算法去噪的图像数量是否对去噪结果产生影响，接下来通过设定数量从2到8的图像来测试本文提出的自适应权重时域非局部块匹配去噪算法，并得到PSNR指标，如表1所示。

表1 含噪图像数目对PSNR指标的影响

通过表格数据的对比可以看出，随着处理含噪图像数量的增加，PSNR的数值会越大，也就是算法的去噪能力越高，但同时算法处理的时间也会随之增加。

4 结论

在针对连续多帧图像的非局部图像去噪算法的研究中，重点是研究相似度计算的准确性，而噪声会很大程度的影响相似度的计算。因此，为了提高参考像素点的选取置信度，需要对噪声进行预去噪处理；在计算加权因子的时候，更加准确的参考像素点可以提供更高的精度。预去噪处理首先是要通过对连续多帧图像各个位置上的像素值进行叠加累积再平均的处理方式，降低时域上面随机噪声对图像的质量损失，经过预去噪处理，可以得到一幅较为准确的参考图像。随后，就需要考虑如何得到空域非局部加权因子的计算。通过比较图像上面的像素点同参考图像上的关联度和相似性，可以得出相当准确的加权因子。综上，本文提出了自适应权重值的非局部均值去噪算法，通过实验表明，本文提出的算法同单独空域的去噪算法和已有的多帧图像去噪算法相比，更多的保留了图像上的细节信息，并极大的去除了图像上的噪声信号。