王晟贤，张宗华，高 楠，孟召宗

(河北工业大学 机械工程学院，天津 300130)

0 引 言

随着计算机网络通信和电子商务技术的迅猛发展，如何准确、快速认证用户身份成为了当今社会的热点问题[1]。传统基于密码、口令的身份认证方法由于存在易丢失、易伪造等缺点，已逐渐被生物识别技术[2]所代替。近年来，掌纹识别技术作为一种新兴的生物特征识别技术，因其所利用的掌纹具有特征信息丰富、防伪性能出色的优点，受到了科研人员的广泛关注。

传统的掌纹识别技术多是围绕二维掌纹所展开，但对于1种三维特征，二维掌纹会因缺失一维信息影响最终的识别效果，所以三维掌纹识别技术应运而生。Li W等人[3]设计了一种基于结构光的设备来捕获手掌的三维数据，并进一步建立了由8 000个三维掌纹样本组成的数据库。在此基础上，研究者们进行了一系列与三维掌纹识别相关的研究工作。Zhang D等人[4]提出了一种三维掌纹识别方法，基于曲率对三维掌纹数据进行特征提取以获得平均曲率图像、高斯曲率图像和曲面类型(surface type，ST)，再编码为二进制特征。白雪飞等人[5]提出了一种新的三维掌纹识别方法，将分块曲面类型与主成分分析相结合以提升算法效率。但传统的三维掌纹识别技术分为“特征提取”与“特征匹配”2个步骤。在识别过程中，不仅要选取特征提取时的滤波器，还要选取特征匹配时的分类器，因此增加了不同方法在优化组合时的难度。

近几年，深度学习在计算机视觉尤其是在样本识别领域内经历了飞速的发展。与传统的识别算法不同，深度学习可通过卷积神经网络同时完成特征的提取和分类。将深度学习运用到掌纹识别中也成为了当下学者们重点研究的一个方向。但深度学习的方法因公开的三维掌纹数据集较少的数据量而出现严重的“过拟合”问题，即测试集的表现较差，而迁移学习作为一种新的机器学习方法越来越多地应用到小样本数据集中[6]。但迁移学习应用于掌纹识别的研究未曾有公开的报道。

本文提出一种融合曲面类型与迁移学习的三维掌纹识别方法，改善此类问题，以提高测试集的识别率。

1 融合曲面类型与迁移学习

考虑到公开的三维掌纹数据集因所存储的三维点云数据具有无序性和稀疏性、样本容量小的缺点。所以本文先对三维掌纹数据集进行基于曲率的二维化特征表示，采用更具区分性的二维ST灰度图表征三维掌纹信息，并作为输入网络训练与测试的图像。最后，采用迁移学习的方法，利用VGG16(一种曾在图像识别竞赛中获得最佳表现的卷积神经网络)预训练模型对三维掌纹识别任务进行微调处理，提高其识别率。

1.1 三维掌纹ST

三维掌纹本质上是一种使用曲率描述并具有唯一性的连续曲面。掌纹曲面上的点可根据曲率分为8种基本类型，以此来描述三维掌纹曲面特征。掌纹曲面每点的ST取决于该点的平均曲率H和高斯曲率K，Besl P J等人[7]提出了一种基于一组预定义的模板来简单高效计算平均曲率和高斯曲率的方法，可通过式(1)和式(2)计算得到

(1)

(2)

式中f为三维掌纹的深度，fx,fy为f的一阶偏导数，fxx,fxy以及fyy为f的二阶偏导数。

在实际情况中，通常会用一个区间来确定零点。为了确定H=0，K=0的情况，一种常用的方法是通过使用相应的标准偏差对H和K进行标准化

Cs=C(i,j)/2δ

(3)

在标准化后大多数的曲率将落在[-1,1]的范围内，可根据所设定的阈值参数判断曲率的零值。由此，三维掌纹中每点的ST都可据表1所列，对应到具体数值。

表1 由曲率得到的九类ST

1.2 迁移学习

利用具有多数样本的A领域的预训练模型(训练完成且具有良好表现的模型)，对具有不同数据分布的少量样本的B领域进行微调处理以求解问题[8]。设领域D={X,P(x)}，分为源领域Ds域Dt，其中，X为特征空间，P(x)为边缘概率分布。任务T={Y,f(·)},分为源领域任务Ts和目标领域任务Tt，其中Y为类别空间，f(·)为学习的函数预测模型。则迁移学习的描述为：利用Ds下的Ts已学习好的知识提升Dt下Tt的f(·)的性能。

1.3 VGG16网络迁移与三维掌纹结合

根据迁移学习的原理，需选择在Ds中具有高识别率的网络模型作为Dt中的预训练模型，本文将选用VGG16网络进行迁移学习方法的研究。VGGNet由牛津大学的Simonyan等人在2014年所提出。相比于AlexNet，其特点在于加深了网络的深度，使得网络易于提取更为细节的特征[9]。该模型通过重复使用3×3卷积核和2×2池化核来增加网络的深度；通过堆叠2个3×3的卷积核来替代5×5的卷积核，堆叠3个3×3的卷积核来替代7×7的卷积核。图1所示为VGG16网络结构，其中,包含13个卷积层、5个池化层、3个全连接层和1个输出层。

图1 VGG16网络结构

在网络迁移与三维掌纹结合过程中，现存公开的三维掌纹数据集以三维点云的形式存储着掌纹的深度信息。利用深度学习处理三维点云通常应用于形状规则的物体分类问题中，并不适用于细节特征更丰富的三维掌纹数据，且在处理三维点云过程中，计算复杂度的提高也不符合掌纹识别的实时、快速要求。所以，本文将对三维掌纹数据集进行二维化处理，通过基于曲率的二维灰度图像表征掌纹的三维信息，再利用迁移学习的方法对图像进行训练与测试，以达到三维掌纹识别的快速识别要求。

融合ST与迁移学习的三维掌纹识别具体流程如下：首先，将三维掌纹数据库进行二维化处理，利用二维灰度特征图，即ST图表征三维掌纹数据。其次，利用在ImageNet大型公开数据集(包含1 000个类别的14 197 122张图片)下已训练好的VGG16预训练模型进行改进及微调处理，改进的方法具体步骤如下：1)利用PReLU激活函数代替模型中出现的ReLU激活函数；2)在网络的最后一层全连接层后添加批次归一化处理；3)采用Softmax分类层作为网络最终的输出层。由于改进过程中并没有改变网络的层数和参数数量，所以并不影响预训练模型的知识迁移。最后，在模型改进后，将预训练模型中能提取到具有特征通性的浅层网络参数迁移至三维掌纹识别任务中，以实现知识迁移。网络输入处理好的二维灰度特征图，仅针对能提取到掌纹区分性特征的模型深层网络进行训练。

2 实验结果分析

识别不同于验证，其属于一对多匹配问题。本文采用香港理工大学的公开三维掌纹数据集[10](包含了分2次采集的400个不同手掌中收集的8 000个样本)进行一系列有效性对比实验。实验环境为CPU：Inter®CoreTMi5—9400F CPU @ 2.90 GHz；GPU：NVIDIA GeForce RTX 2060；内存：16 GB RAM；深度学习框架：Tensorflow。

本文识别实验设计如下：首先划分训练集与测试集，训练样本采用掌纹库第一次采集的图像，测试样本采用掌纹库第二次采集的图像。使得训练集和测试集均包含400个掌纹类别，每个类别包含10个图象，共4 000幅图像。通过对比不同方法的rank-1识别率来衡量方法的性能。首先，探讨三维掌纹在迁移学习时网络的迁移层数对最终识别效果的影响。其次，通过对比迁移学习与不同深度学习网络的测试集识别率，以此验证迁移学习方法的有效性。最后，将其与不同传统方法进行比较。迁移学习中，用于掌纹数据集下的预训练模型其超参数的选取同样会影响测试集的识别率，所以，需要对改进的VGG16网络预训练模型进行微调。通过实验，确定最终的学习率为0.000 5，批次大小为100，迭代步数为1 500步并采用Adam优化。图2(a)为采用ST表征三维掌纹时迁移学习方法的训练集与测试集准确率的比较；图2(b)为针对图2(a)中迭代步数1 000～1 500步的训练集与测试集的识别率比较，可以发现，相比于测试集，训练集会在较少的迭代步数后达到100 %的准确率，而测试集最终会达到99.73 %的准确率；图2(c)为训练集的损失值，可以发现，随着迭代次数的增多，损失值在不断减少。

图2 VGG16网络迁移学习曲线

2.1 网络固定层数对识别率的影响

迁移学习的三维掌纹识别方法需要将VGG16预训练模型中具有能提取通性特征的浅层网络进行参数的固定并迁移至三维掌纹识别任务下相对应的VGG16网络模型中，仅针对后层网络进行学习、训练。但是，迁移过程中需固定预训练模型的具体网络层数，到目前为止并没有一个可以量化标准。所以，此实验将对比在固定不同的预训练模型网络层数时测试集的效果，以此确定最终能达到的迁移效果最佳的网络固定层数。表2为固定不同预训练模型层数时测试集的识别率对比。

表2中比较了三维掌纹数据集下利用未固定的网络，即未使用迁移学习方法的VGG16原网络和固定预训练模型前5层网络至前10层网络的几种不同情况下测试集的识别率。可以发现，在未使用迁移学习方法时，其测试集的识别效果并不理想，识别率仅有97.78 %。随着预训练模型网络固定层数的增加，测试集的识别率也在提高，直到预训练模型固定前7层网络时，测试集的表现将达到最优，即识别率为99.73 %。而当预训练模型固定网络高于7层时，测试集识别率存在随着网络固定层数的增加而降低的趋势。

表2 固定不同预训练模型层数的识别率对比

2.2 迁移学习方法有效性实验

为论证迁移学习方法的有效性，针对三维掌纹数据集下的迁移学习方法进行实验，将通过不同深度学习网络训练后的三维掌纹识别方法与基于迁移学习的三维掌纹识别方法的测试集识别率进行对比。将固定VGG16预训练模型前7层网络的结果作为基于迁移学习方法下的最终结果。而比较的深度学习网络包括AlexNet[11]以及未使用迁移学习方法的VGG16网络。表3为VGG16网络迁移与不同深度学习网络的识别率和识别时间的比较。

根据表3可发现，VGG16相比于AlexNet具有更深的网络结构，在未使用迁移学习方法时，测试集的识别率会随着深度学习网络的加深而降低，出现“过拟合”的问题。当使用了迁移学习方法的VGG16预训练模型训练三维掌纹数据集后，“过拟合”问题得到了很好的解决，测试集达到了更高的识别率，网络的泛化能力增强。证实了在使用迁移学习方法解决网络的“过拟合”问题后，网络的加深会帮助其提取到更易于区分的特征。虽然迁移学习的方法提高了最终的识别率，但是并未能很好的解决网络加深、参数量增多所导致的计算复杂度提升的问题。相比于网络结构更为简单的AlexNet，单体测试样本在VGG16网络下的识别时间增加了8 ms。

表3 VGG16网络迁移与不同深度学习网络的识别率和识别时间的比较

2.3 不同方法的对比实验

本节将所提出的基于迁移学习的三维掌纹识别方法与几种传统的基于“特征提取”+“分类器”的三维掌纹识别方法进行实验对比，通过测试集的识别率来验证该方法所具有的良好的识别效果。表4为不同三维掌纹识别方法下的测试集识别率对比。可发现，所提方法相较于几种传统方法而言，所提方法在识别率上有了进一步的提高。

表4 不同方法识别率对比

3 结 论

针对小样本的三维掌纹数据集，本文提出了一种融合ST与VGG16网络迁移的三维掌纹识别方法。实验结果表明，在公开的三维掌纹数据集下，本文所提方法在网络迁移过程中固定前7层网络时的表现最佳，其测试集达到了99.73 %的识别率，与该领域内已有方法相比在识别精度上有了更进一步的提高，并证明了所提方法的有效性。