冯象初，卫丽丽

(西安电子科技大学 数学与统计学院，陕西 西安 710126)

由于图像成像过程中会受到各种因素的影响，得到的初始图像往往含有不同性质的噪声，干扰了人们对图像信息的理解，因此需对图像进行去噪处理。图像去噪技术目前已经有很丰硕的成果[1-4]，其中基于变分理论的方法在图像去噪问题中取得了巨大成功。变分方法的基本原理是设计一个极小化能量泛函，当达到最小化能量状态时即得到了最优的图像估计。

在使用变分方法进行图像去噪时，值得注意的是正则化参数的选取问题。在变分图像去噪模型中，数据项用于保持原有信息，正则项用于光滑化，合理选取二者之间的正则化参数尤为重要。实际上，学界已经提出了很多种正则化参数选取方法以提升去噪效果，如基于先验策略选取参数的方法，以及基于后验选取策略，如Morazov偏差原理[5]，广义交叉检验准则[6]等方法。最近，由于优化学习方法的广泛使用，KUNISH等[7]将双层优化问题引入变分模型中，提出了半光滑牛顿算法来求解变分模型中的参数，REYES等在文献[8-10]中，通过建立双层优化模型，设计了半光滑的牛顿方法与BFGS迭代算法相结合的求解算法，有效地学习了变分方法去除混合噪声的两个标量参数。模拟退火算法[11]则从另一个方面对正则化参数加以改进，其目的是提升计算效率。它选取一组单调增加的参数(称为退火参数)用于迭代计算，每一步迭代以上一步计算结果作为初值。然而模拟退火选取的退火参数往往是基于先验知识的，如何利用训练数据给出最优退火参数的估计是个值得研究的问题。

笔者提出一个新的双层优化模型用于确定退火参数，在下层问题中增加了新的正则化项以保证解的存在性，同时利用反向传播(Back-Propagation，BP)算法[12]，提出了优化退火参数的有效算法，最后还给出了一种泛化方式。文中在优化过程中，并没有强加单调性的要求，而学到的退火参数却具有单调增加的特性，这表明从数据中学到的算法是符合模拟退火方法假定的。据了解，这是第一次通过训练数据明确观测到这种现象。

1 正则化参数的选取

1.1 全变差模型正则化参数

图像在获取、传输、存储等过程中时常会受到各种因素的干扰而导致退化现象的产生。图像退化的数学模型可表示为

f=Ru+n，

(1)

其中，u为原始图像，f为观测图像，R为线性模糊算子(例如卷积算子)，n为噪声。通常用概率分布描述信号传输或处理造成的失真情况，文中噪声模型均以高斯白噪声来考虑，即n～N(0，σ2)。

基于变分的图像恢复模型以图像退化模型为基础，将原始图像的先验信息引入目标函数作为约束，使得恢复后图像更接近真实图像。其中受到广泛关注的即为Rudin、Osher和Fatemi在1992年提出的全变差模型，也称ROF模型[13]。他们认为图像是分片光滑的，可以存在不连续信息。利用此先验信息和最大后验估计(Maximum A Posteriori estimation，MAP)给出原始图像的恢复模型为

(2)

其中，BV为有界变差函数空间，Ω是有界开区域，具有Lipschitz边界，λ为正则化参数，∇为梯度算子。式中第1项称为保真项，用来保证恢复图像与观测图像之间距离足够小；第2项称为正则项，用来惩罚图像的不连续点，在去除噪声的同时能够很好地保持边缘结构。

当模糊算子R=I时，式(2)即为经典的去噪模型：

(3)

式(3)的数值求解方法如下：根据变分原理，其相应的Euler-Lagrange方程为

(4)

结合梯度下降法将式(4)转化为偏微分方程：

(5)

使用合适差分形式求解式(5)式，得

(6)

当取0<λ≪1时，恢复图像u≈f。当取λ≫1时，恢复图像u≈c(常数)，如图1所示。从结果可看出参数λ起着平衡两项的关键性作用，参数λ越小，恢复图像越接近噪声图像；参数λ越大，恢复图像就越光滑。因此可看出正则化参数的选取十分重要。

(a) 噪声图(σ2=202)

1.2 双层优化估计最优正则参数

(7)

其中，u*表示原始图像，ε是附加正则项对应系数。文献[10]给出了解的存在性定理。

定理1[10]对于u，f∈BV(Ω)∩L2(Ω)，ε>0，问题(7)存在最优解λ，且满足λ>0。

1.3 模拟退火方法

模拟退火方法则从另一个角度考虑正则化参数的作用。在式(6)的迭代中，初始值u0是从f出发，迭代直到收敛。为了提高计算效率，借用模拟退火方法的思想，取λk单调递增，使得λk→λ，每次迭代以上一次迭代的结果作为初始值，从而有

(8)

2 最优退火参数的估计

2.1 最优退火参数估计模型的建立

受到双层优化估计最优正则化参数方法的启发，文中希望可利用训练数据估计最优退火参数，故此建立双层优化模型如下：

(9-1)

(9-2)

(9-3)

2.2 模型的求解

对于式(7)的求解，文献[9]中利用对偶形式和半光滑牛顿法求解上述双层优化问题。由于式(9)下层问题每次迭代过程参数都是不同的，因此为了求解最优的退火参数，利用反向传播算法，提出了一种新的求解方法。

图2 迭代展开网络

对于上述N层网络优化问题，可根据BP方法进行求解。BP方法是由信号的正向传播与误差的反向传播两个过程组成，经过信号正向传播与误差反向传播，不断地调整每层网络中的参数，直至达到最优。具体的推导过程如下所示：

对于式(9)，存在一个拉格朗日乘子B(k)，使得

(10)

根据拉格朗日乘子法，可知式(10)解需要满足下列条件：

(11-1)

(11-2)

(11-3)

对于式(11-1)求解：

对于式(11-2)，通过计算求解可得

由于该问题为一个固定点问题，式(11)即为驻点条件。为了寻找极小值在此运用了最速下降的方法，即

(12)

综上分析，双层优化估计退火参数求解算法，具体步骤如下：

步骤1 输入噪声图f1，…fP，初始退火参数λ1，…λN，时间步长Δt，参数η，迭代次数iter。

沙三下砂砾岩体储集物性与含油性密切相关，因此含油性预测即为储集物性预测。而储集物性与沉积特征、地层压力和构造应力特征密切相关。

步骤3 循环迭代：

由式(11-2)计算Bp(k)；

由(12)式更新λk；

步骤4 判断：如果迭代次数大于iter，则停止迭代；否则，继续迭代；

步骤5 输出：恢复图u1，…up，最优退火参数λ。

3 数值仿真

3.1 参数确定以及模型去噪效果

文中算法均在HP-Z230(4核3.30 GHz CPU和16 G RAM)平台上实现，Matlab R2018b编程环境在Windows 7操作系统中运行。选取图像恢复数据集(USC SIPI-Misc)以及一些常用的图像(如lena、house、cameraman、peppers等)进行实验。

由于文中模型是基于统计学的最大后验估计提出的，在保证泛化能力的同时，模型中每层仅有一个参数需要修正，少量样本的训练即可得到收敛的结果，增加训练样本，退火参数值变化微小。实际上，笔者利用了20对图像进行训练，图3给出了噪声标准差为20时，其中8对训练样本图像。对于所提算法中其它超参数的选取，根据实验研究，深度N=16时已经得到了很好的效果，随着N的增加，PSNR值的变化仅在0.005左右，差别微小，故在此选取超参数值N=16，Δt=0.002，η=0.04，ε=0.01，iter=400。退火参数初值λk选为0.5，对其进行一定范围的波动，与最终确定的参数得到的实验效果相差很小，说明算法对初值具有一定的稳定性。

(a) 干净图 (b) σ2=202带噪图

噪声标准差为20时，实验所得最优退火参数[λ1，…，λ16]=[0.887 6，0.990 5，1.049 8，1.149 0，1.282 9，1.413 6，1.573 6，1.742 4，1.942 0，2.194 2，2.461 4，2.801 6，3.239 1，3.698 0，4.592 3，5.577 9]利用所得最优退火参数，从常用恢复图像数据集中随机选取更多的与训练集不同的图像进行测试，结果表明双层优化估计退火参数算法有着很好的去噪效果，表1(左3列)随机给出了其中6幅测试图像的结果。同样地，算法也可以直接应用于彩色图像去噪问题，相同的实验过程，表1(右3列)随机给出了6幅彩色图像测试结果。

对上述20幅图像加上其他方差的噪声构成训练样本对，利用式(9)估计对应的最优退火参数。表2给出了噪声标准差为1，5，8，10，15，25训练样本对实验所得相应最优退火参数值，表中每一列为对应于同一个噪声方差的16个最优退火参数值，每一行为给定的退火参数在7个不同噪声条件下的最优值。随后，利用不同噪声方差最优退火参数分别对同样噪声下的测试集进行测试，结果表明双层优化估计退火参数算法均有着很好的去噪效果，表3给出了其中部分实验结果。

表1 标准差为20的测试图像去噪的结果(PSNR)) dB

表2 不同噪声方差下最优退火参数的估计值

表3 不同方差噪声下测试图像的去噪结果(PSNR) dB

3.2 和其他模型去噪效果对比

为了进一步评价文中基于双层优化学习的退火参数方法的有效性，选用常用的基于先验的参数选取方法模拟退火方法和基于后验的选取方法广义交叉验证准则方法，与文中算法进行了大量的对比实验，新方法均取得了较好的结果。实际上，将双层优化应用于模拟退火算法中后，提升了参数的估计精度，去噪结果也平均提升了0.1 dB。计算效率方面，当参数确定后，任一测试图像仅需有限次迭代即可完成，计算复杂度为O(N)，表4给出了3个比较结果的例子。

表4 利用不同的参数选取模型去噪的结果对比(PSNR) dB

3.3 基于学习的退火参数分析

对双层优化估计所得退火参数进行具体分析，从表2每一列可以看出，固定噪声方差，随着k的增加参数均呈单调递增趋势，和模拟退火算法增长趋势是一致的，说明随着k的增加，正则化项也在相应地加强。模拟退火方法是基于先验知识的算法，λk的单调递增方式也是先验设定的。利用数据学习的方法，可以从数据中自适应地学习到一组最优的参数增长方式，如图4所示。注意到在优化过程中，并没有强加单调性的要求，因而从数据学习的角度表明了迭代过程中正则化参数单调增加的合理性。据检索所知，这是第一次通过训练数据明确观测到这种现象。

(a) σ2=102

从表2每一行可以看出，随着噪声方差的增加，退火参数也是增加的，表明正则项的作用在加强；而在另一个方向上，当噪声方差减小趋于0时，退火参数收敛到0，这和正则化参数的收敛性要求是一致的。图5给出了3个参数的图示。

3.4 算法自适应性分析

通过对自然图像的训练样本学习，得到了相应的最优退火参数及单调递增的变化趋势。为了研究最优参数对训练数据的自适应性，我们选取一类纹理图像数据作为训练样本，分别对噪声标准差为10，15，20的情形进行类似的实验。学习得到相应的最优退火参数如图6所示。结果表明，迭代过程中正则化参数数值和单调增加模式是根据不同的训练数据自适应调整的。

(a) 参数λ2

(a) σ2=102

4 插值泛化

式(9)是针对给定的噪声方差，估计对应的最优退火参数。利用这个模型，给出了7种不同方差噪声对应的最优退火参数(表2，图5)。为了处理其它方差噪声图像的恢复问题，可用文中算法得到的最优退火参数去估计其他方差的最优退火参数。从4.3节分析可看出对每层的退火参数，随着噪声方差的增加，退火参数也在不断地连续增加，表明退火参数也是依赖于噪声方差的连续的单调递增函数(图5)。因此可根据已知所得数据，通过插值的方法估计出其他噪声方差下的最优退火参数。

通过上述分析，利用表2数据进行实验，选用3次拉格朗日插值方法[18]估计其他噪声方差图像的退火参数。3次插值样本点取估计方差左右最近的4个点。利用插值估计的退火参数，分别对其相对应噪声测试集图像进行实验，结果表明插值估计所得退火参数同样有着较好的去噪效果，这也说明了文中算法有着较好的泛化能力。表5给出了插值泛化方法对4个不同噪声方差测试图像Lena去噪结果。

表5 插值泛化测试图像的去噪效果(PSNR) dB

5 结束语

结合双层优化方法，笔者提出了退火参数估计的学习模型，设计了退火参数估计的有效算法。值得指出的是，优化问题中未加任何单调性约束条件，学习得到的退火参数却表现出单调递增趋势，因而从数据学习的角度表明了迭代过程中正则化参数单调增加的合理性。相较现有常用的基于经验的参数选取方法，新方法从训练样本中自适应学习到数值最优的退火参数和变化模式，从而使退火模型既保证了计算效率，也拥有了较好的去噪效果。最后，文中提出了一种简单的插值泛化方法，表明了所提算法有着很好的泛化能力，使提出的模型可以适应不同强度的噪声去除问题。仿真实验表明了方法的可行性和有效性。

文中主要讨论了加性高斯噪声下的图像去噪问题，研究了利用双层优化选取最优退火参数的模型和数值解法。在今后研究中将进一步地把所提方法推广到混合噪声去噪等问题中。