卞维新, 丁世飞, 张 楠, 张 健, 赵星宇

1(中国矿业大学 计算机科学与技术学院,江苏 徐州 221116)

2(中国科学院 计算技术研究所 智能信息处理重点实验室,北京 100190)

3(安徽师范大学 计算机与信息学院,安徽 芜湖 241002)

生物特征识别技术是当前信息科学技术领域的研究热点之一.《2016-2021年中国生物识别技术行业市场前瞻与投资战略规划分析报告》显示,2013年全球生物识别市场的规模达到98亿美元,预计到2020年将增长至 250亿美元.在众多生物特征识别技术中,指纹因其终身不变性、唯一性和易接受性成为应用最为广泛的个人身份识别技术[1].自动指纹识别系统的研究主要集中在3个方面：图像增强、指纹分类和细节点匹配[2-4].大多数自动指纹识别系统是基于点模式匹配进行识别[5-7]的,准确可靠的细节点提取很大程度上依赖于输入指纹图像的质量[8].指纹识别系统采集到的指纹图像由于各种原因存在着不同的质量缺陷,因此,在特征提取之前对指纹图像进行增强是十分必要的.

指纹图像质量能够通过各种指纹增强方法[5,9-17]进行改善.O'Gorman等人[9]提出并设计了一种上下文滤波器来完成对指纹图像的增强,该滤波器具有方向性,它对指纹脊线方向的纹线进行增强,同时在梯度方向上提高纹理的对比度.Hong等人[5]则提出了一种应用方向Gabor滤波器对指纹进行滤波增强的方法,该方法在指纹增强领域获得了广泛关注.传统Gabor滤波器对参数非常敏感,对输入指纹图像的质量要求较高.Yang等人[10]提出一种Gabor滤波器自适应参数选择方案,可以更准确地增强指纹的模式结构.Gottschlich[11]则引入曲Gabor滤波器来增强指纹的高曲率区域,该方法在很大程度上依赖于脊线方向和频率等参数.Bartuněk等人[13]构建了一种多模块和自适应参数选择的上下文滤波增强方法,滤波器参数可根据输入指纹自动调整.文献[14]讨论了在频率域中基于重叠窗口频谱及图像质量分析,结合噪声抑制、高斯带通滤波器和高斯方向窗实现了指纹增强.该方法把指纹脊线信息作为辅助参数,能准确地完成指纹增强,具有一定的优越性.卞维新等人[15]结合频谱扩散在频域实现了指纹增强,该方法对指纹的脊线方向和频率等参数依赖较弱.现有指纹增强方法对高质量指纹图像能够得到理想的增强结果,也能够对某些含有特定大噪声的低质量指纹有效增强,但不具有普适性,对含不同大噪声的低质量指纹增强结果大相径庭.

2006年,Hinton首次提出了深度学习(deep learning)的概念[18],掀起了深度学习的研究热潮.许多学者在近10年来一直致力于深度学习理论及其在各个领域的应用研究,取得了丰硕的成果[19-22].得益于深度学习在图像处理领域的突出表现,基于深度学习的指纹识别方法在近年来越来越受到人们的重视,刚刚处于起步阶段[23-25].

以受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)[26]为基石的深度玻尔兹曼机(deep Boltzmann machine,简称DBM)是一种无向图模型,它使用 RBM预训练逐层确定初值,然后再对整个模型的权值进行微调来完成[20].深度玻尔兹曼机不仅表现出良好的分类能力,而且展现了强大的图像重构能力.DBM 在重构图像时计算成本较高,直接用于指纹图像重构并不合适.而传统的指纹增强算法对大噪声指纹增强虽不具有普适性,但对指纹图像高质量和小噪声区域的增强是有保证的.因此,对指纹图像首先使用传统算法进行预增强,再对预增强指纹中的少数噪声区域执行DBM重构,减少重构计算成本是不错的选择.考虑到DBM可以很方便地对二值图像重构,而指纹又可以通过传统频域增强算法直接增强得到二值指纹,因此,本文受 DBM 在图像重构方面的出色表现所激励,提出一种结合方向高斯带通滤波(orientation Gaussian bandpass filtering,简称OGBPF)和深度玻尔兹曼机重构的指纹增强方法.

本文第 1节对本文涉及的一些相关工作进行具体阐述.第 2节详细介绍指纹图像块质量评价标准,给出方向高斯带通滤波器的设计方法以及指纹频域滤波增强过程.第 3节详述应用具有方向选择性的深度玻尔兹曼机对滤波增强的二值指纹图像进行重构的方法.第4节基于公开的指纹数据库FVC2004对提出算法的性能进行测试.实验结果表明：该方法能够弥补传统指纹增强算法的缺陷,高质量的增强指纹图像.

1 相关工作

1.1 指纹块方向估计

指纹脊线具有显著的方向模式.除了少数奇异点区域,在局部区域内,指纹脊线方向具有一致性.已有大量研究人员对指纹块方向估计进行了研究[27-29],其中,基于点梯度矢量集线性投影(linear projection analysis,简称LPA)[29]是近年提出的较为可靠的指纹块方向估计算法.

令大小为W×W的指纹块内所有点的梯度向量为Vj(j=1,…,W×W),U是块内点梯度方向的最佳投影方向,则Vj沿着U的投影为

令λ是Vs的特征值,u是对应的特征向量,则有：

块梯度最佳投影方向为

由于指纹脊线方向和梯度方向是正交的,因此块脊线方向为

1.2 受限玻尔兹曼机

2 指纹方向高斯带通滤波增强

2.1 指纹图像块质量评价

本文提出的指纹滤波增强是在指纹块质量分级机制下进行的,具有较高质量的指纹块将先于质量较低的块被增强.因此,指纹块质量评价的结果是非常重要的.值得注意的是：这里我们只要保证高质量块的评价结果是可靠的就可以了,允许将一部分高质量块误判为低质量块,提出的块质量评价准则有一定的容错能力.

本文首先采用块点方向一致性估计的方法对块质量进行估计,将指纹块质量分为 4类,即高、中、低和差.为了对指纹块质量进行评价,指纹图像被划分为重叠的R×C块,定义Qb(i,j)(i=1,2,…,R;j=1,2,…,C)是第(i,j)块的质量类别,依据第1.1节,块点方向一致性参数可定义为

当块内所有点方向相同时,λ2=0,Coh的值为1;当块内所有点方向均匀分布时,λ1=λ2,Coh的值为0;其他情况下,Coh的值介于0和1之间.依据Coh的值,Qb(i,j)可取值为

Qb(i,j)的值1,2,3,4分别对应指纹块的质量为高、中、低和差.该评价方法能够保证不会误分低质量块为高质量块,但往往会将高质量块误分为低质量块.事实上,被误分的高质量块的灰度方差应该比低质量指纹块的大,因此我们依据误分块的灰度方差对误分块进行筛选,以尽量避免误分.误分块的方差可由下式计算：

其中,Varp为块方差.则所有非高质量块的方差均值为

其中,Count为非高质量块的个数.依据下式对所有非高质量的块进行筛选：

2.2 频域参数估计

指纹脊线和谷线交替出现,在局部区域具有稳定的结构,非常适合进行频率域分析[14,15].指纹块傅里叶变换定义为

其中,Ib(i,j)为待处理的指纹图像块,u=0,1,…,W-1,v=0,1,…,W-1,Fb(i,j)(u,v)为图像块的傅里叶系数,W为块的大小.脊线频率和频谱方向能够在频域中直接被估计.图1(a)为一大小为32×32像素的高质量指纹图像块,图1(b)为其傅里叶变换频谱,频域原点F(u0,v0)为频谱的峰值,即频谱的直流成分(DC).移除直流频谱,如图 1(c)所示,具有最高峰值频谱的点(up,vp)即为脊线频谱中心,如图1(e)所示,则脊线频率和脊线频谱方向分别为

2.3 2D方向带通滤波器

图2给出了两个方向带通滤波器的例子,其中,L=8,n=20.图2左图和右图分别对应的离散化方向l=0和l=6.

2.4 指纹块方向高斯带通滤波增强

在频域内,指纹块脊线频谱主要集中在以频谱原点(u0,v0)为圆心、中心过脊线频谱中心(up,vp)的环形带内,如图 1(d)中的环形带所示[14,15].在频域对指纹频谱进行带通滤波,从而对指纹脊线进行增强是合理的.本文使用高斯带通滤波器对指纹块频谱进行滤波增强,2D高斯带通滤波器HG：b(i,j)定义为

其中,BW为带通滤波器的带宽,fr为脊线频率,D(u,v)是频谱原点(u0,v0)到点(u,v)的欧氏距离.由图 1(d)我们能够发现：如果环形带过窄,则可能丢失较多脊线频谱;如果环形带过宽,则不能有效抑制噪声.因此,为了更好地抑制噪声,增强脊线频谱,滤波器带宽应该能够根据脊线频率自适应调整.本文的高斯带通滤波器带宽依据下式自适应给定：

其中,L∈N是总的离散化方向数;l表示第l个方向;θr是脊线频谱方向,它被离散化为L个方向,即(0,π/L,…,(L-1)π/L).本文提出的2D方向高斯带通滤波器可定义为

将待增强指纹块Ib(i,j)按公式(16)转换到频域,得到对应的频谱Fb(i,j)(u,v).为了抑制通带内的孤立噪声和平滑通带边缘,类似于文献[14],使用对应的方向高斯窗Gl(u,v)(l由增强块的脊线频谱方向θr决定,窗口大小为5×5,详见文献[14]))与方向高斯带通滤波频谱进行卷积,提高增强频谱的质量.最后,块频谱能够被增强：

2.5 指纹图像滤波增强

本文提出的指纹滤波增强算法首先在空域对指纹图像进行分块,然后将空域指纹块变换到频域,在频域中进行滤波增强,最后将滤波增强结果再次转换到空域.本文采用的是类似文献[15]的重叠块(复合窗口)方法,采用将指纹图像分割为具有相同中心的外层块和内层块的策略,如图3所示.

本文滤波增强算法是基于块优先级的,高质量的块将优先增强,确保先被增强块的准确性和可靠性.低级别优先级块在增强时,其邻域中高质量块已被增强,复合窗口的应用使高质量块频谱能够扩散到低质量块,使得低质量块的频谱得到明显改善,从而提高指纹增强质量.第 2.1节提出的块质量评价方法可以保证高质量块评价结果的可靠性,从而保证优先增强块的增强是可靠的.

我们首先将指纹图像被划分为重叠的R×C块,依据第 2.1节的方法对所有块质量进行评价和等级划分,然后按照指纹块的质量优先级对指纹块进行迭代增强.在增强过程中引入复合窗口策略,即对以待增强内层块为中心的外层块进行增强,取增强图像的内层块替代原始内层块.第 1次迭代增强过程中仅考虑块质量等级,使用第 2.3节的方向高斯带通滤波器对所有高质量块进行增强.在接下来的滤波增强中,为了将已增强的高质量块频谱充分扩散到低质量频谱中,待增强块邻域优先级Bpri被考虑：

其中,NumNei为待增强块八邻域中已被增强块的数量;Bpri取值1,2,3,对应块邻域优先级分别为高、中和低.在第1次迭代增强之后,选取当前具有最高质量且拥有最高邻域优先级的未增强块进行迭代增强,取增强图像的内层块替代原始内层块.在一次迭代增强之后重新计算块邻域优先级,更新Bpri,重新进行下一次迭代增强,直到所有的块都被增强,迭代结束.对滤波增强指纹图像进行简单的后处理,移除背景区域,得到增强的二值滤波增强指纹图像.本文提出的滤波增强方法对少数大噪声区域仍无能为力.文献[14,15]分别采用不同的增强块错误检测方法来改善大噪声增强质量,有一定的效果,但并不能完全杜绝.本文提出的方法得到的是增强的二值指纹图像,鉴于DBM在图像重构方面的突出表现和处理二值数据的便利性,我们将借助DBM来重建大噪声错误增强区域.

3 基于深度玻尔兹曼机的指纹图像重构

3.1 深度玻尔兹曼机

深度玻尔兹曼机是由 Salakhutdinov提出的一种以 RBM 为基础的深度学习模型[20].DBM 是无向图模型,某一个隐层的输出由与其相连的上下两层决定,一般情况下,上下两层先验的比例是一致的.以两隐层 DBM 为例,其模型结构如图4所示.

其能量函数可表述为

DBM 的训练要通过 RBM 预训练逐层确定初值,然后再对整个模型的权值进行微调来完成.Salakhutdinov等人[20]通过贪心逐层预训练学习算法同时预训练多个RBM,如图5所示,然后再将这些RBM组合得到DBM模型的初值,具体贪心预训练过程见文献[18].获取在贪心预训练阶段学习到的权值之后,整体模型的权值还需进行微调.本文微调整个模型权值的具体过程见算法1,αw,αv和αb分别为权值、可见层偏置和隐层偏置学习率.

算法1.一个用于指纹图像块重构的两隐层DBM模型权值微调的具体过程.

2. 初始化M样本：{v0,h10,h20},…,{vM,h1M,h2M}.

3. 获取在贪心预训练阶段学习到的权值{c,W1,b,W2,a},详见文献[20].

4.fort=1 toT(迭代次数) do

5. //变量推断：

6. for 每个新样本vn,n=1 toNdo

7. 给定h1=σ(vn(2W1)+b),h2=σ(h1W2+a),使用均匀场方法更新h1,h2,直到收敛：h1=σ(vnW1+h2(W2)T+b),h2=σ(h1W2+a)

9. end for

10. //随机逼近：

11. fork=1 toKdo

12. for 每一个新样本vm,m=1 toMdo

13. 通过给定的{vmk-1,h1mk-1,h2mk-1},依据公式(29)-公式(31),采样得到{vmk,h1mk,h2mk}.

14. end for

15. end for

16. //参数更新：

22. 减小αw,αv,αb

23. end for

3.2 基于DBM的指纹图像重构

DBM模型训练好以后,可以很容易地使用均匀场方法进行图像重构.与第2节方向高斯带通滤波增强类似,对指纹图像的DBM重构也是基于指纹块进行的.图6给出了本文指纹块DBM重构的过程示意图,vin为待重构的指纹块矢量,vout为重构的指纹块矢量,具体重构过程见算法2.

算法2.基于DBM模型的指纹块重构.

1. 输入：待重构含噪指纹块矢量vin;

2. 初始化h10,h20：h10=σ(vin(2W1)+b),h20=σ(h10W2+a).

3. fort= 1 toT(迭代次数) do

4. //均匀场更新：

vt=σ(h1t-1W1+c)

h1t=σ(vtW1+h2t-1W2+b)h2t=σ(h1tW2+a)

5. end for

6. 输出：vout=vT

一般DBM图像重构[20]中仅训练一个通用的DBM模型,而本文则不同,我们为每一类拥有不同方向模式的指纹块分别训练一个 DBM 模型.如前文所述,指纹图像在局部区域有稳定的方向模式,为了能够更准确地重构噪声指纹块,我们充分考虑了指纹脊线的方向模式信息,依据块方向对指纹块训练样本集进行分类,分别为每一类样本训练一个DBM模型.重构含噪指纹块时,依据待重构块的方向,自适应选择与该方向模式对应的DBM模型进行重构,使得重构结果更为可靠、准确.图 7给出了一组使用提出方法对含噪指纹块重构的例子.图 6(a)、图6(c)和图6(e)分别为含有不同大噪声的指纹块,图6(b)、图6(d)和图6(f)分别为对应的重构块.可以看出,提出的方法能够准确、可靠地重构指纹块.

由于 DBM 在重构过程中时间复杂度较高,为了能够提供算法的效率,理想情况下,我们仅需对含噪指纹块进行重构.为了达到这一目标,我们对方向高斯带通滤波增强的二值指纹图像继续执行第 2.1节提出的方法,对需重建块进行评估.不同的是在基于点方向一致性进行块质量评价时,仅将块质量分为两类——高和差(对应于第2.1节提出的中、低和差).然后,用同样的方法对所有差质量块执行灰度方差误分块筛选,尽可能地将高质量的误分块剔除.最后,对质量评估为差的块执行DBM重构,完成对指纹图像的增强.

4 实验与分析

4.1 实验设置与数据库

本文实验所用的训练和测试指纹来自FVC2004数据库,使用具有两隐层的DBM模型进行训练和重构：第1隐层的节点数为 400,第 2隐层的节点数为 600.为了构建高质量的 DBM 模型训练指纹块样本集,我们首先在FVC2004数据库中选取了500幅质量较高的指纹,使用Neurotechnology提供的VeriFinger Algorithm Demo 6.0(http：//www.directoryofshareware.com/preview/verifinger_algorithm_demo_for_ms_windows/)软件增强得到对应的二值指纹图像.将二值指纹基于重叠窗口分为大小为 32×32的块,构建 DBM训练块候选集.基于点方向一致性剔除低质量块,构建高质量指纹块训练集.为了充分利用指纹的脊线方向模式信息改善模型的性能,依据块方向将训练集分为8类.依据不同类别的训练集,分别训练8个DBM模型用于错误增强块重构.本文提出的方向高斯带通滤波增强和 DBM 重构均是基于复合窗口进行的,且采用的是重叠窗口策略.实验中,内层块和外层块的大小分别为16×16和32×32像素,滑动窗口步长为10个像素.

4.2 算法性能比较与分析

本部分实验均是基于测试指纹集进行的.图 8给出了一个方向高斯带通滤波增强过程中对指纹块质量评价的一个例子.图 8(b)为基于块点方向一致性给出的评价结果,从图中可以看出,该方法能够保证高质量块的评价结果,但往往会错误地将一些高质量块评价为低质量块;图 8(c)给出了一个采用提出的块方差纠错的例子,可见：提出的方法能有效地避免或减少将高质量块误分为低质量块,并且基本能够保证不会将低质量误判为高质量块.

图 9给出了一个基于块质量分级机制和复合窗口策略下使用方向高斯带通滤波器对指纹增强的例子,对应的块质量评价如图8所示.从图9(a)可以看出：高质量的块被最先增强,确保了增强块的准确性和可靠性.

较低质量块在增强时,其邻域中较高质量块已被增强,邻域优先级和复合窗口策略使更高质量块的频谱能够充分扩散到较低质量块,改善了较低质量块的频谱,提高了增强质量,如图 9(b)～图 9(d)所示.提出的滤波方法对少数大噪声区域仍无能为力,不能准确增强,如图9(d)中圆环标示区域.

为了提高 DBM 重构的效率,在对方向高斯带通滤波增强指纹进行重构时,首先对指纹块质量进行评价,仅对少数错误增强块进行重构.为了提高重构的准确性和可靠性,在使用第 3.2节提出的方法对指纹二值块进行重构的时候,首先计算该块的脊线方向,然后选择对应的DBM模型进行重构.图10给出了两个基于块质量评价的指纹图像DBM重构的例子.第1行、第2行对应的指纹分别为DB3_A的82_8和DB3_B的109_5.从实验结果可以看出：提出的方法虽然不能准确无误地选出错误增强块,会将少量高质量的块视作错误增强块,但基本能保证不会将错误增强块误分为高质量块.图 10(d)为重构结果,可见提出的具有方向选择性的DBM重构算法能够对滤波增强指纹中少数错误增强区域进行重构,完成对低质量指纹图像的高质量增强.

为了测试提出的算法的性能,将提出方法与ABSF[14],Bianetal.[15]和VeriFinger Software基于同一实验平台进行了对比实验.图 11给出了一组实验结果,从第 1行～第 3行的(a)列为原始指纹,分别为 DB3_A的 12_2,38_8和86_1.从图11(e)列可以看出,提出的基于块质量分级机制和复合窗口策略的方向高斯带通滤波对于较高质量和弱噪声指纹区域能够高质量地增强,对少数大噪声区域的增强较差.由于引入了脊线方向模式,具有方向选择性的DBM模型更能可靠地对错误增强块进行重构,保证了增强结果的准确性和可靠性,如图11(f)列所示.对比文献[14,15]以及VeriFinger Software,本文算法增强结果更具有鲁棒性.

本文将提出算法和其他增强算法增强指纹进行了有效细节点提取的对比实验.图12给出了图11第1行各增强结果细节点提取的实验结果,图中矩形框和圆形框标注的分别为分叉点和末梢点.可见,本文算法增强结果提取的细节点的准确性更高.

表 1给出了一组有效细节点提取量化对比结果,实验选用指纹图像均为含大噪声的低质量指纹图像.可见在绝大多数情况下,基于本文方法增强的指纹有效细节点数都少于其他方法增强的指纹,细节点提取更为可靠,有利于随后的指纹匹配和识别.

Table 1 Comparison of the valid minutiae extraction based on the enhaced fingerprints表1 基于增强指纹的有效细节点提取对比

为进一步验证本文所提算法在自动指纹识别系统(automatic fingerprint identification system,简称AFIS)中的表现,将所提算法在一个开源的基于C#框架的指纹识别软件(http：//www.codeproject.com)中进行了匹配实验,实验指纹库为 FVC2004.我们使用 Medina-Pérez等人[33]提出的基于 M3gl的细节点匹配算法进行匹配实验,实验中,我们仅仅分别将输入指纹图像替换为各种增强算法增强的指纹图像,其余部分保持原识别系统的设置不变. FMR(false match rate)和FNMR(false non-match rate)是用来评估指纹识别算法性能的两个主要指标,通常使用EER(equal error rate)和FMR100等指标来评价AFIS的整体性能.图13给出了表征各种对比算法识别性能的ROC曲线,更具体的一些性能指标被描述在表 2中.从实验可以看出,相比于其他对比算法,在大多数情况下,所提的算法能更好地改善AFIS的性能.

Table 2 Performance comparison of different enhancement algorithms on FVC2004表2 不同指纹增强算法在FVC2004指纹库上的性能对比

5 结束语

本文提出一种结合方向高斯带通滤波和深度玻尔兹曼机重构的指纹图像增强方法.提出的方法首先通过方向高斯带通滤波器得到增强的二值指纹图像,然后对可能存在的错误增强区域使用具有方向选择性的 DBM模型进行重构.提出的方法将传统指纹增强方法和深度学习方法相结合,取长补短,使得增强结果更加准确、可靠.本文提出的块质量评价标准不同于传统意义上的指纹质量评价标准,它仅要求能够确保低质量块的正确评价,允许错误估计部分高质量块为低质量块,拥有较强的容错能力.在方向高斯带通滤波增强阶段,质量分级机制使得较高质量块在较低质量块之前增强.在较低质量块增强时,邻域优先级和复合窗口策略使得较高质量增强块的频谱能够充分扩散到较低质量块中,有效地改善了较低质量块的频谱,提高了增强质量.由于引入了脊线方向先验信息,为拥有不同方向类别的指纹块分别训练一个独特的 DBM 模型,对错误增强块重构的时候选择对应方向类别的DBM模型,使得重构结果更具稳定性和可靠性.基于块质量评价,仅对少数需重构块进行DBM重构,有效提高了重构效率.实验结果表明,提出的算法能够完成对低质量指纹图像的高质量增强,具有很强的鲁棒性.本文提出的块评价方法并不能准确地估计出需重构的错误增强块,还会把一些高质量块误判为错误增强块,会降低重构效率.如何进一步提高块质量评价的准确性,尽量使得 DBM 重构仅对错误增强块进行,是我们下一步研究方向.