王鹤铭，沈文忠

（上海电力大学 电子与信息工程学院，上海 200090）

引言

虹膜识别技术[1]是从拍摄到的虹膜图像中提取生物特征并识别身份。在不可控的应用场景中，例如监控、移动生物识别，由于设备或采集距离的限制，采集的虹膜图像缺失像素分辨率，导致虹膜定位错误，严重影响识别性能。图像超分辨率（Super Resolution，SR）重建技术为解决这一问题提供了方法。

图像超分辨率重建技术[2]可分为基于插值、基于重构和基于学习的方法。基于插值的方法，如双三次插值法和Lanczos 重采样，快速简单，但重建图像精度不足。基于重构的方法，如邻域嵌入法[3]、梯度轮廓清晰法[4]等，采用复杂的先验信息限制可能的解空间，并生成锐利清晰的纹理细节。但当缩放因子增大时，耗时也增加，重建性能迅速退化。

近年来，随着计算机硬件的进步及深度学习技术的发展，基于学习的方法在自然图像领域取得巨大成功。该方法主要利用卷积神经网络，通过学习大量高、低分辨率图像对，找到它们之间的非线性映射，利用映射关系重建高分辨率图像。Dong[5]首次利用CNN 进行SR 重建（SRCNN），SRCNN 仅有三层卷积层，图像的重建质量远远优于插值法和重构法。但由于网络结构简单，非线性映射不充分，重建图像仍有模糊现象。Kim[6]拓展SRCNN 的网络深度，提出深度卷积网络VDSR，以20 层的VGG-net 为基本架构，并采用梯度削波解决网络过深带来的梯度消失问题，取得良好的重建效果。Shi[7]改进了SRCNN 的放大策略，将亚像素卷积层作为一种新的后放大策略，在低维度空间实施超分辨，降低了计算复杂度。随后，Kim[8]为减少网络参数，重复堆叠递归层，运用递归监督和跳跃连接加速网络收敛，稳定训练过程，最终提高重建图像质量。Zhang[9]结合残差块和密集块的独特优势，设计更复杂的残差密集网络RDN，大量连接结构充分融合上下文信息，进一步提高重建精度。

不同于自然图像，虹膜图像拥有独特的属性，其结构信息较少，虹膜纹理具有随机性、复杂性，这使得对开放的虹膜图像库进行超分辨任务变得尤为困难。此外，自然图像仅仅关注视觉效果，着重于优化保真度指标（PSNR与SSIM）。而虹膜图像除提升视觉感受外，还应考虑其识别性能。本文在上述工作的基础上，提出自适应加权残差网络，主要有以下几点贡献：（1）结合虹膜图像特点，提出适用于虹膜图像超分辨率重建的自适应加权残差网络，并设计虹膜匹配实验以验证网络的重建效果与识别性能。（2）考虑虹膜图像纹理特征，通过级联加权残差块加深网络，提高网络重建能力。设计加权残差块整合不同层次的特征以充分获取高频信息。采用后放大策略重建高分辨率虹膜图像，最大限度减少误差信息。实验结果证明，本文算法重建的高分辨率虹膜图像有较高的保真度和良好的识别性能。

1 算法设计

1.1 自适应加权残差网络

Dong 首次提出SRCNN 网络结构用于图像超分辨任务，将该任务分为特征提取、非线性映射以及图像重建三个部分。之后的网络大多改进非线性映射部分，VDSR、DRCN 通过增加网络深度，RDN 设计复杂的模块化结构提高非线性映射能力。本文在以上研究基础上，提出自适应加权残差网络（Adaptive Weighted Residual Net，AWRN）如图1 所示。考虑到虹膜图像的纹理特征，重新设计三部分网络模块。

特征提取采用一组3×3 卷积核，提取浅层特征F0，为减小计算量，直接对低分辨率虹膜图像（LR）提取特征。非线性映射包含N 个自适应加权残差块（Adaptive Weight Residual Block，AWRB）及全局加权残差连接。叠加残差块可以增加网络深度，扩大感受野，提取丰富的虹膜特征信息。为降低网络优化难度，提升性能，添加加权残差连接，以强化特征信息传递和梯度流通[10，11]。设第n 个AWRB输出为 Fn，则第 n+1 个 AWRB 的输入 Fn+1为：

式中，xn，yn分别表示当前特征 Fn与浅层特征 F0的加权系数。加权残差连接将低维度特征图F0共享到每一个AWRB，Fn+1融合了高低两层次的虹膜信息，避免由于卷积操作带来的特征丢失。最终，非线性映射提取的深层虹膜特征FN为：

图像重建将低维空间的特征通过上采样映射为目标尺寸。插值法是常用的上采样方法，通常与前置放大策略结合。这种方法会损坏原始图像的关键信息，增加网络计算复杂度，不利于图像的精确重建。而虹膜图像对细微的纹理信息极为敏感，微小的重建误差可能导致较差的识别效果。本文采用亚像素卷积层（Pixel Shuffle layer，PS）作为上采样模型。PS 适用于虹膜图像，并与特征提取相对应，直接对低维特征上采样，不会引入错误信息，减少计算量。其次，PS 不使用人工卷积核，而是通过训练得到一组周期移动卷积核，这些卷积核切合虹膜图像的超分辨任务，有效保证重建质量。PS 可表示为：

式中，w 和 h 是像素坐标，r 为上采样因子，T 表示网络中的张量。PS 将 H×W×（R2×C）特征图映射为 RH×RW×C 大小。图 1 中，3×3 卷积层将 FN与 F0特征通道数调整为R2×C，通过PS 映射为目标尺寸后，加权相加得到重建的高分辨率图像SR：

式中，fx，fy表示调整特征通道数。

1.2 加权残差块

虹膜图像超分辨率重建的目的在于恢复丢失的高频信息，VDSR、DRCN 等高速网络在信息传递时存在信息丢失或损耗现象，不利于高频信息的保存。Ledgi[12]在SRResnet将残差块作为生成器的基本模块，通过同一性短连接融合高频信息，恢复更多图像细节纹理。

图1 自适应加权残差网络

受Ledgi 启发，本文提出AWRB 作为基本特征提取模块，如图2 所示。AWRB 包含三个残差单元、特征融合和密集连接。AWRB 与Resnet 残差块的不同之处在于：（1）本文提出的残差学习结构堆叠了三个原始残差块，并以密集连接的方式构成。残差块相当于高通滤波器，将高频虹膜信息保留并像素加和，增强特征表达能力。密集连接通过特征重用改善了网络中信息流和梯度流，使网络易于训练而不会额外增加参数量。（2）本文的残差连接都以自适应加权的方式按照一定比例相加。SRResnet 中残差连接的系数是固定的，限制了梯度的传递。本文将权重设置为可训练标量，动态调整残差特征和深度特征的比例，提高重建图像精度。每个AWRB 中有4 个残差连接。设第n 个AWRB 中第m（1≤m≤3）个残差单元的输入特征为：

式中，f 为残差单元中的卷积层，γ 为激活函数。密集连接会使特征通道数翻倍，采用1×1 卷积核降维，特征融合之后，整个AWRB 输出为：

式中，θ（[·]）表示密集连接。

图2 加权残差块

2 实验结果及分析

2.1 实验设置

本文采用中科院CASIA-IrisV4-Lamp 虹膜数据库的图像，该数据库是在不同光照条件下采集的，瞳孔会随光照变化而弹性变形，这使得虹膜图像SR 难度增加，但选用Lamp 旨在模拟应用场景，更具现实意义。Lamp 包含411 人，选择300 人，每人左右眼各10 幅图像作为训练集。选择300 人，左右眼各6 幅图像作为测试集。训练网络需要高低分辨率图像对，Lamp 图像视为HR，采用Bicubic 作为退化模型对Lamp 下采样，模拟LR。

实验所采用的设备配置为：处理器Intel®Core（TM）i7-8700K CPU@3.70GHz 3.70GHz，显卡 GeForce RTX 2080 Ti，运行环境是Tensorflow。初始化学习率为10-4，学习率更新策略为Adam，动量参数β 设置为0.9，训练周期为100，激活函数为Relu。本文使用MAE 作为损失函数。

本文算法进行了2 倍、4 倍和8 倍的重建，并与Bicubic、ESPCN、VDSR、DRCN、RDN 等算法比较，这些网络的训练采用与本文相同的训练集和测试集，训练设置均与其对应开源代码一致。

2.2 网络优化

图3 显示了AWRB 数量对网络性能的影响。固定缩放因子为4，随着AWRB 的增加，PSNR 呈现先增加后减小的变化趋势。加深网络增强了网络的非线性表达能力，能够更好地学习虹膜高低分辨率图像之间的复杂变换。之后，网络性能逐渐饱和并下降，这是由于过深的网络存在梯度消失、过拟合等问题，使得网络优化困难。AWRB数量为5 时，网络性能最优。

图3 AWRB 数量对网络性能的影响

表1 显示了对局部加权，全局加权效应的消融研究。Baseline 没有任何添加权重，性能最差，添加自适应加权系数后，重建性能逐渐提升。这是因为加权残差连接强化了梯度和特征信息的流动，进一步优化了网络，也验证了加权残差连接的有效性。

表1 加权连接消融研究

2.3 结果与分析

表2 不同超分辨率重建算法的PSNR 与SSIM

图4 重建图像视觉对比×2

图5 重建图像视觉对比×4

表3 各算法的EER

不同超分辨率算法重建虹膜图像的PSNR 和SSIM如表2 所示。本文算法均取得较高的PSNR 和SSIM，仅在×2 时，本文算法的SSIM 低于DRCN 0.0019，客观上表明本文算法的巨大优势。图4、5 分别是虹膜图像在×2、×4时超分辨率重建的主观比较。×2 时，各算法的重建效果都较理想，仅Bicubic 的重建图像边缘有轻微的模糊感。×4时，Bicubic 已经完全模糊，其他算法都由于过度平滑而丢失大量细节信息。放大图中块状细节可以看出，本文算法较为准确地重建更多纹理，结构也相对清晰，主观上证明本文算法的较大优势。

PSNR 与SSIM 无法完全反映高频纹理细节重建效果，因此本文进行了虹膜匹配实验，根据匹配分数统计等错误率（EER），该值越小，图像重建越精确。原始虹膜图像的EER 为1.394%，其他算法的EER 如表3 所示。在×2时，ESPCN 的 EER 最优，本文算法与其有0.005%的差距，因为×2 的超分辨任务相比×4、×8 简单得多，高频信息更易恢复。×4 与×8 时，本文算法都是最优结果，表明本文算法更加准确地重建了人的身份信息，取得良好的识别效果。

3 结束语

本文提出一种适用于虹膜图像超分辨率的自适应加权残差网络，为恢复更多虹膜纹理细节，直接将低分辨率虹膜图像作为输入，亚像素卷积层作为上采样模型，优点是提取特征信息准确，计算复杂度低。同时采用大量加权残差连接和密集连接重建高分辨率虹膜图像，用以保留和传递高频虹膜信息。实验结果表明，该算法重建的高分辨率虹膜图像纹理细节丰富，识别效果优势突出。

接下来的工作可将该网络部署到移动虹膜识别设备上，进一步优化调试网络，以期能真正实际运用到虹膜识别领域。