谈 玲，张 琭

（1.南京信息工程大学计算机与软件学院 南京 210044；2.南京邮电大学物联网学院 南京210003；3.中国电信股份有限公司江苏分公司操作维护中心 南京 210017）

1 引言

随着信息技术的发展，电子商务中金融信息化程度越来越高，信息安全的重要性也同步提升。在互联网中信息安全技术最重要的应用是电子支付，而基于计算机视觉的生物特征识别技术深刻地改变着人们的支付方式和支付习惯。作为一种新兴的、有前景的在线电子商务技术，基于生物特征识别的支付得到越来越广泛的关注和应用。考虑到生物特征识别技术对经济发展的重要作用，其安全性和可靠性必须得到严格和稳定的保障。

在安全领域，身份识别一直是研究的热点。由于人体的生物特征具有采集简便、个体差异显著的特性，在进行个人身份识别时具有较好的安全性和可靠性，因此在电子商务中可以利用人体生物特征进行在线支付及消费行为的确认。在互联网中，各支付主体之间的认证是电子商务的一个核心问题[1]，而终端认证是电子支付首先要面对的问题。考虑到电子支付的特殊性，需要支付终端具有尽可能简便的认证，并降低对支付设备的依赖性。

本文提出一种交互式多生物特征识别方法，从第三方支付平台的角度研究其在电子商务中的应用。主要利用客户和支付终端的交互完成用户身份验证、消费确认以及支付签名。该方法借鉴了现有的生物识别技术如人脸识别[2～4]、鼻子识别[5～7]、耳朵识别[8～10]、指关 节纹 识别[11，12]、指纹识别[13，14]等，并对这些方法进行改进和整合，实现了多重安全的支付，而交互式支付从第三方平台的角度同时为消费者和商家提供支付保障。

2 基于多生物特征识别的身份认证

目前研究的生物特征主要包括人脸、指纹、掌纹、虹膜、血管、指关节纹等。从数据采集方式看，人脸识别是较为容易的一种，受到众多电商青睐。在进行个体身份识别时，首先需要获取人物脸部生物特征。其中存在一些不确定因素，人物的年龄、胖瘦、高矮、形态、表情、胡须、皱纹、发型、穿戴都会影响人脸特征，甚至外部光线也会对人脸有影响，从而降低人脸识别的准确性。人脸的很多显著器官如鼻子、耳朵等在一生中形状相对稳定，且不容易受到外在干扰，因此在本文中将耳朵和鼻子作为身份识别的多生物特征的一部分。其次是指关节纹生物特征，其比掌纹特征更明显，也不易受到外在干扰，因此识别更简易和可靠，本文将其作为第三重生物特征。在识别时，这3个区域图像的数据量总和比人脸图像的数据量更少，因此其平均识别时间要比脸部识别时间少得多。

2.1 多生物特征识别算法

在识别算法上，主要借鉴Gabor滤波器在鼻子、耳朵和指关节纹识别上的良好特性[15]，核函数和FDA（Fisher discriminant analysis）在非线性判别中的优异表现以及带限相位相关算法在计算内容独立性方面的稳定发挥，设计了基于鼻子—耳朵—指关节纹的多重识别算法模式。首先提取鼻子、耳朵和指关节纹的感兴趣区域 （region of interest，ROI），采用 Gabor滤波器对图像进行 Gabor滤波处理。其次，对滤波后的图像进行对比度增强处理，利用带限相位算法调整图像频谱范围，利用位移校准法对图像进行校准、微调和裁剪[15]。最后，对校准后的图像进行基于阈值的匹配和识别。作为第一重生物特征的鼻子，需要区别耳朵和指关节纹的特别处理。在特征提取中，需要事先建立测试样本及训练样本。对训练样本和测试样本分别利用核函数将鼻子的Gabor小波特征非线性地映射到核空间，再通过计算类间和类内离散度矩阵，进而求解Fisher基向量。并将上述训练样本和测试样本的Gabor小波特征分别投影到Fisher基向量，最后计算得到两类特征的距离，并进行基于距离的分类判别。

2.2 身份识别

基于多生物特征识别模式的身份认证分别进行鼻子、耳朵、指关节纹的生物特征识别，根据鼻子、耳朵、指关节纹的特征强度和识别可靠度，予以三重生物特征不同的权重，最终的识别结果计算方法为：首先观察3种生物特征识别的结果是否完全一致，若完全一致，则用户身份确定；若不一致，再观察耳朵和指关节纹识别的结果是否一致，若一致，则取耳朵和指关节纹的识别结果；若3种生物特征识别的结果各不相同，取鼻子生物特征识别的结果作为身份识别结果。

2.3 身份认证

在电子商务中，身份认证主要通过第三方支付平台的支付终端进行。支付终端采集用户的鼻子、耳朵、指关节纹图像，并将其传送到第三方支付平台的支付服务器端进行身份识别。支付服务器上存放用户个人生物特征库，根据多生物特征识别算法进行用户的身份识别。将其与注册账户进行比对，确定用户账户存在且有效，从而完成用户的身份认证。

身份认证后，用户继续在第三方支付平台的支付终端中进行支付活动。在电子商务中，支付是最后也是最关键的一步，需要严格控制其安全性和可靠性。因此本文主要研究第三方支付平台上进行的交互式支付及消费确认机制。

2.4 多生物特征融合的SVM模型

为了对多生物特征识别进行效果验证，本文首先构建了一个多生物特征融合模型，如图1所示，这里采用的生物特征包括人脸和虹膜。在各种生物特征中，人脸识别是人类最自然和最容易接受的身份识别方法，在很多电子商务中得到了成功应用；而虹膜识别则具有较高的准确率。这两种生物识别都有各自的局限。参考文献[16，17]在不同层论证了人脸和虹膜的融合识别。在分类器的选择上，本文考虑了SVM（support vector machine，支持向量机）。SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的机器学习方法，求解办法是将分类问题转化为二次规划问题。作为一种二分类器，其基本思想是在样本空间中构造出最优分类超平面，并使其达到最大的泛化能力[18]。

多特征SVM模型的处理过程为：首先，分别对人脸与虹膜图像进行预处理及特征提取，得到人脸特征向量与虹膜特征向量。而后将两种特征向量进行串行组合，得到融合特征向量。最后，将融合特征向量经过标准归一化处理，利用SVM进行分类识别。

假设人脸特征提取的特征向量，xi={x1i,x2i,x3i,…,xmi},i=1,2,…,s（s是样本数量）；虹膜提取的特征向量yi={y1i,y2i,y3i,…,yni}；融合特征向量是由xi与yi串接得到的向量zi={z1i,z2i,z3i,…,zki}，由该向量作为最终的实验数据库。上述特征向量中m,n,k是样本的维度。

对该模型进行验证，实验运行工具为MATLAB，使用了LibSVM工具箱，分类方法采用one-against-one，二次规划采用了改进的序列最小优化（sequential minimal optimization,SMO）算法[19]，工作集个数为2，对样本及其 Lagrange乘子进行更新和迭代计算，对满足约束优化条件的目标决策函数进行优化。该方法工作集小，迭代数据快，因此在大规模训练情况下二次规划的求解效率能显著提升。

多生物特征识别的具体实现过程与生物特征不同的特征提取方法有关，人脸和虹膜预处理和特征提取的方法不同，提取出来的特征在分布和数量级上也会有所不同，直接融合可能会对识别结果有影响。为了排除这种特征数量级非均衡性对特征融合识别结果的影响，识别前需对融合特征做归一化处理。这里采用两个特征提取方法进行识别验证。

方案1 PCA+WT。

算法过程如下。

步骤1 人脸处理。将以行向量的形式表示每一张人脸图像，得到原始样本集。再利用PCA（principal component analysis）提取人脸图像的特征向量，实验中选取前20个主分量，即特征向量X的维数是20维，作为第一组样本。

步骤2 虹膜处理。对虹膜图像进行预处理，得到64 dpi×512 dpi大小的归一化虹膜图像。再进行Triple WT（wavelet transform），计算7个通道的均值和方差作为特征值，最后得到14维的特征向量Y，作为第二组样本。

步骤3 特征融合处理。将步骤1和步骤2得到的人脸和虹膜样本中的特征向量一一对应进行串行连接，得到34维融合特征向量，并进行归一化处理。

步骤4 将得到的标准数据集分为训练集和测试集，用SVM法进行训练测试。

方案 2 Fisherface+Gabor。

算法过程如下。

步骤1 人脸处理。对原始样本集利用Fisherface方法[21]对人脸图像进行特征提取，选择适当的投影空间得到16维的特征向量X，作为第一组样本。

步骤2 虹膜处理。对预处理后的归一化虹膜图像通过Gabor滤波器[20]，选择中心频率和相位角度不同的12个Gabor滤波通道，提取各通道的均值和方差作为特征值，得到24维的特征向量Y，作为第二组样本。

步骤3 同方案1的步骤3和步骤4。

2.5 多生物特征识别性能验证

图1 多生物特征融合模型

本文以ORL人脸数据库和CASIA虹膜图像库为实验对象。在两个库中都按50 dpi×50 dpi规模选取原始图像，对其一一制定配对得到实验图像库。在不同数量的训练集和测试集下对单一生物特征和多生物特征融合识别，对经典分类算法 （K-nearest neighbor,KNN）、神经网络（neural network,NN）、SVM 3种分类识别方法进行了性能比较。实验结果见表1（其中训练集和测试集为归一化后的数据）。

从表1可以看出，多生物特征识别准确率要超过单一特征识别准确率，随着训练样本数量增加，所有识别方法的识别率也会逐步提高。此外，SVM在对比的几种分类器中，识别效果更好。

从验证结果看，多生物特征识别具有较高的识别性能，可以用于各种身份识别和认知的应用场合。基于多生物特征识别模式的身份认证进行融合生物特征识别，并通过第三方平台进行身份认证。支付终端采集用户的人脸及虹膜图像，并将其传送到第三方支付平台的支付服务器端进行身份识别。支付服务器上存放用户个人生物特征库，根据多生物特征识别算法进行用户的身份识别。将其与注册账户进行比对，确定用户账户存在且有效，从而完成用户的身份认证。

3 交互式表情扫脸

人的形态尤其是面容很容易随着时间而变化，这是人脸识别技术必须克服的一个难点，目前的技术可以做到在个体常规化妆、发型变化、一定程度下胖瘦变化、老化时进行身份识别。但如果变化过于剧烈，单一的扫脸模式将无能为力。此时可以借助其他生物特征辅助，比如扫脸和指纹验证相结合。对于识别难度较大的情况可以采用多种生物识别方式组合的方式。即便如此，扫脸支付仍然存在人脸照片和人脸视频的假冒问题，是人脸识别进入商用的一个技术难点。

近期国内外已经有若干家电子商家或实体商家利用扫脸技术来完成支付，他们大多采用“面对面”式刷脸或者功能仅限于密码输入的方式，对于用户身份的准确识别以及消费行为的确认等方面考虑得还不够深入。例如支付宝的扫脸技术“smile to pay”仅用于支付密码，但其对于用户身份的确认还存在诸多盲点。本文对第三方平台在线支付问题的思路不同于其他电子商务只将扫脸用于支付，本文侧重于利用交互式表情扫脸进行消费行为的第三方确认，明确将指纹和交互式表情扫脸结合起来完成支付。此外，本文将用户身份认证和用户支付操作的确认和签名分开。身份认证利用鼻子—耳朵—指关节纹多生物特征完成认证，避免单一模式下产生的失误。在用户进入支付环节后，为进一步加强可靠性和安全性，利用交互式表情扫脸和指纹识别来完成。这种模式一方面可以避免人脸照片和人脸视频的假冒，另一方面也可作为支付纠纷发生时的支付依据。

支付终端在交互式表情扫脸中需要用户进行表情配合，即进行用户和支付终端的交互，比如在当前情景中系统随机给出头/脸部动作及表情要求，支付者配合完成该过程，从而进行支付前的再次确认。这种利用应用情景模式配合扫脸和系统提示动作的模式可以有效防止视频或者照片的欺骗行为。最后，利用表情操作进行脸部表情签名。支付者按照预先设置的签名表情完成相应动作之后完成签名。

交互式表情扫脸签名的优点是对支付者身份的不可伪造性和对支付行为的不可抵赖性。为了确保可靠性，除需交互式表情扫脸签名，支付终端还需要有传统的密码机制作为补充。多种支付方式的存在为用户提供了一种简便和安全的支付选择。在异地消费活动中，若客户手机、钱包、信用卡丢失，无法进行移动支付、现金支付和信用卡支付，通过交互式表情扫脸进行身份的快速识别和认证，在支付前进行基于表情的消费签名，从而在第三方支付终端完成可靠的消费活动。

4 交互式多生物特征识别技术在电子商务中的应用

在互联网中进行的电子商务和支付活动中，买卖双方不能面对面完成交易，这使得认证问题成为电子商务和支付的核心问题。基于第三方支付的认证过程主要包括以下支付主体：顾客、WPKI（wireless public key infrastructure）商户（产品或服务的提供者）、银行[21]、第三方支付平台。其中第三方支付平台主要包括支付网关、支付服务器、支付终端等，如图2所示。

表1 几种分类方法的识别性能比较

图2 基于第三方支付的在线支付系统构成

在第三方支付平台，支付服务器主要完成顾客的生物特征身份信息的存储和用户身份验证、支付确认处理等。用户在支付前首先需在服务器端建立客户多重生物特征库，用以对客户生物特征进行采集和预处理。支付网关主要完成基于线下信任的商户认证，首先它在中间服务平台（如商区或社区）对商户进行初级认证的基础上对中间服务平台进行第二级认证。通过线下预认证机制与线上交互认证进一步强化线上支付主体与现实之间的联系。支付终端完成顾客基于多重生物特征的身份认证和交互式消费确认。

为了解决第三方支付平台沉淀资金风险隐患，并简化第三方支付终端认证过程，取消了第三方支付平台设立的中间账号，以系统的第三方授权及确认付款功能来为交易双方提供信用担保。通过预先签订的客户和付款账号所在银行中间的授权支付协议，在支付终端完成基于生物特征识别的身份认证后进行支付确认时，第三方支付平台代表付款人直接通知付款银行，无需付款人提供账号和密码而能直接利用跨行清算系统自动完成顾客与商家的支付交易。通过第三方支付平台省却了支付方、商家和银行中间繁琐的认证过程，并简化了用户在支付终端的支付操作。

交互式多生物特征识别的支付及消费确认机制将从两方面着手，首先是顾客身份的认证，采用多重生物特征识别的安全认证模式来实现，其次是顾客对支付行为的确认和支付签名。顾客身份认证中所使用的多重生物识别机制如上文所述。而在顾客支付行为中，需要配合顾客的表情和与终端的互动来完成，侧重于利用扫脸进行消费行为的第三方确认，将指纹和扫脸结合起来完成支付和签名。在出现消费行为的支付纠纷或者在一些应用中需要用户产生不可抵赖的凭证时，可将扫脸的视频作为支付凭证，扫脸的作用更像电子签名。这种电子表情签名结合指纹模式产生的互动效果更稳定、更安全。

第三方支付平台通过建立“预认证”和在线交互激活、表情签名认证模式来实现终端认证的简化。预认证主要采用分层模型解决第三方支付平台和商家、中间服务平台、公共服务域之间的认证和信任问题以及第三方平台上的支付者（顾客）的个人账户信息。该过程采集并预处理支付者的个体生物特征，建立用户生物认证账户和商家账号的个人服务域。用户认证前必须先建立公共服务域。公共服务域由支付服务中心、跨行支付系统、商业银行构成。该服务域级别越高，可信度越高，且能简化支付协议和流程的设计。其中支付服务中心提供商业银行账户的寻址服务。可根据商家信息、用户手机信息与各银行账号的绑定关系，将用户手机号和商户信息转换成商业银行的账户信息。认证中利用支付服务中心账户寻址和管理手段确保商家和付款客户双方的不可否认性，从而降低相关的支付风险。跨行支付系统实现各个银行的跨行支付与清算。该服务域省却了银行、用户、商家相互之间的直接联接，从而避开支付时繁琐的认证过程。在线支付预认证分层模型如图3所示。

图3 在线支付预认证分层模型

交易过程中，支付终端首先利用鼻子—耳朵—指关节纹多生物特征对用户进行身份识别。在预认证基础上，通过指纹识别与交互式表情扫脸结合进行在线支付前确认及支付签名。

5 结束语

本文主要研究生物特征识别技术在电子商务中的应用。提出了一种交互式多生物特征识别方法，并从第三方支付平台的角度研究了这种识别方法在电子商务中的应用。交互式多生物特征识别方法主要利用鼻子、耳朵、指关节纹三重生物特征来完成用户身份的识别。在电子商务中，基于交互式多生物特征识别的支付及消费确认机制从两方面入手，首先是顾客身份的识别和认证，采用多生物特征识别算法来完成用户身份的识别，并和支付服务器端中的个人生物特征库进行对比，从而验证用户身份的存在和有效性。其次是顾客对支付行为的确认和支付签名。在顾客支付行为中，利用顾客的表情和与终端的互动来完成，侧重于利用交互式表情扫脸进行消费行为的第三方确认，将指纹和扫脸结合起来完成支付确认和表情签名。从应用的角度设计了第三方支付系统的框架，并在此框架中搭建了一个简便和轻量级的在线支付预认证分层模型。终端认证的简化主要通过第三方支付平台建立的 “预认证”和在线交互支付确认、表情签名模式来实现。该方法能够有效解决第三方支付平台沉淀资金风险隐患，并简化第三方支付终端的认证过程。为用户、商家和银行等多方提供可靠、安全、简化的支付方式。

1 Hassinen M,Hypponen K,TrichinaE.Utilizing national public-key infrastructure in mobile payment systems.Electronic Commerce Research and Application,2008,7(2)

2 王科俊，邹国锋 .基于子模式的Gabor特征融合的单样本人脸识别.模式识别与人工智能，2013，26(2)

Wang K J,Zou G F.A sub-pattern Gabor features fusion method for single sample face recognition.Pattern Recognition and Aitificial Intelligence,2013,26(2)

3 Faraji M R,Qi X J.Face recognition under illumination variations based on eightlocaldirectionalpatterns.IET Biometrics,2015,4(1)

4 Kim M.Sparse discriminative region selection algorithm for face recognition.Applied Intelligence,2015(1)

5 Li Y,Wang Y H,Wang B B,et al.Nose tip detection on three-dimensional faces using pose-invariant differential surface features.IET Computer Vision,2015,9(1)

6 Emambakhsh M,Evans A N.Self-dependent 3D face rotational alignmentusing the nose region.Proceedingsofthe 4th International Conference on Imaging for Crime Detection and Prevention,Stevenage,UK,2011

7 Peng X,Bennamoun M,Mian A S.A training-free nose tip detection method from face range images.Pattern Recognit,2011,44(3)

8 AdhikesavanS,FareedhaS A.Earbiometricsin human identification system.Biometrics&Bioinformatics,2014,5(4)

9 Galdamez P L,Arrieta M A G.Ear biometrics:a small look at the process of ear recognition.Proceedings of International Joint Conference SOCO’13-CISIS’13-ICEUTE’13,Salamanca,Spain,2013

10 Farida K,Mir A H.AR model based human identification using ear biometrics.int.Journal of Signal Processing Image Processing,2014,7(3)

11 Morales A,Travieso C M,Ferrer M A,et al.Improved finger-knuckle print authentication based on orientation enhancement.Electronics Letters,2011,47(6)

12 Gao G W,Yang J,Qian J J,et al.Integration of multiple orientation and texture information forfinger-knuckle-print verification.Nerocomputing,2014(135):180～191

13 Gandhi P V,Vanitha M,Rajkumar S.Preventing mobility device intrusion and information theft using biometric fingerprint recognition.Biometrics&Bioinformatics,2014,6(2)

14 Labati R D,Genovese A,Piuri V,et al.Touchless fingerprint biometrics:a survey on 2D and 3D technologies.Journal of Internet Technology,2014,15(3)

15 Kim M K，Flynn P J.Finger-knuckle-print verification based on vector consistency of corresponding interest points.Proceedings of 2014 IEEE Winter Conference on Application of Computer Vision,Steamboat Springs,USA,2014

16 Wang Y H,Tan T N,Jain A K.Combining face and iris biometrics for identity verification.Preceedings of International Conference on Audio-& Video-based Biometric Person Authenticat,Guildford,UK,2013:311～321

17 Chen C H,C hu C T.Fusion of face and iris features for multimodal biometrics.Lecture Notes in Computer Science,2005(3832):571～580

18 Cristianini N,Shawe T J.An Introduction to Support Vector Machines.Rechnical Report CSD-TR-98-04,1998

19 Zhang J P,Li Z W,Yang J.A parallel SVM training algorithm on large–scale classification problems.Proceeding of the 4th International Conference on Machine Learning and Cybernetics,Guangzhou,China,2009:18～21

20 Jing X Y,Wong H S,Zhang D.Face recognition based on 2D fisherface approach.Journal of Pattern Recognition,2006,39(4):707～710

21 Ou C M,Ou C R,Setnr A.An agent-based secure payment protocol for mobile commerce.Journal of Intelligent Information And Database Systems,2012,4(3)