张鲁 李坤伦 魏泽发 柴艳娜

(长安大学教育技术与网络中心,陕西西安 710064)

0 引言

图像超分辨率是从给定的低分辨率(Low Resolution,LR)图像y中恢复高分辨率(High Resolution,HR)图像x,退化模型可以定义为y=D(x),其中D是下采样。当前,卷积神经网络(Convolutional Neural Networks,CNN)被广泛用于图像超分辨率问题,此类方法假定LR图像已经具有足够的信息来预测相应的HR图像。作为基于CNN的图像超分辨率方法,SRCNN[1]通过预测LR和HR图像之间的非线性映射重建高分辨率图像。VDSR[2]通过采用更深的网络,并结合残差学习策略实现了比SRCNN更好的性能。

大多数基于CNN的图像超分辨率方法都会选择均方误差(Mean Square Error,MSE)作为损失函数,MSE具有结构简单、易于计算的特点,但通过MSE重建的高分辨率图像过于平滑,针对这一问题本文选择实例归一化(Instance Normalization)改善重建图像纹理和细节不足的缺点。

1 提出的方法

通常随着网络加深,非线性变换前的输入值分布会逐渐偏移,整体分布往非线性函数取值区间的两端靠近,导致反向传播到低层神经网络时梯度消失,这是训练深度神经网络收敛越来越慢的主要原因,因此需要利用归一化技术避免这一问题。

表1 实例归一化算法Tab.1 Instance Normalization

实例归一化作为归一化技术的一种,起初Ulyanov等人[3]将其应用在图像风格转换领域,相比批量归一化能迁移更多的纹理和细节至目标图像,借助这一特性,本文将实例归一化用于图像超分辨率。实例归一化对一组数据中每个样本分别做规范化操作,即将数据分布强行变换到均值为0方差为1的标准正态分布,算法如表1所示,使数据落在非线性函数比较敏感的区域,这样输入发生较小变化也会使损失函数产生较大变化,从而避免梯度消失的问题。……