顾凌云,吕文志,杨 勇,高军峰,5,官金安,周 到

(1.中南民族大学生物医学工程学院认知科学国家民委重点实验室,湖北武汉 430074；2.医学信息分析及肿瘤诊疗湖北省重点实验室,湖北武汉 430074；3.华中科技大学武汉光电国家实验室,湖北武汉 430074；4.江西财经大学信息管理学院,江西南昌 330000；5.电子科技大学生命科学与技术学院,四川成都 610054)



基于PCANet和SVM的谎言测试研究

顾凌云1,2,吕文志3,杨 勇4,高军峰1,2,5,官金安1,2,周 到1,2

(1.中南民族大学生物医学工程学院认知科学国家民委重点实验室,湖北武汉 430074；2.医学信息分析及肿瘤诊疗湖北省重点实验室,湖北武汉 430074；3.华中科技大学武汉光电国家实验室,湖北武汉 430074；4.江西财经大学信息管理学院,江西南昌 330000；5.电子科技大学生命科学与技术学院,四川成都 610054)

主成分分析网络(Principal Component Analysis Network,PCANet)是基于深度学习理论的一种非监督式的特征提取方法,它克服了手工提取特征的缺点,目前其有效性仅仅在图像处理领域中得到了验证.本文针对当前谎言测试方法中脑电信号特征提取困难的缺点,首次将PCANet方法应用到一维信号的特征提取领域,并对测谎实验的原始脑电信号提取特征,然后使用支持向量机(Support Vector Machine，SVM)将说谎者和诚实者的两类信号进行分类识别,将实验结果和其它分类器及未使用特征提取的分类效果进行了比较.实验结果显示相对未抽取任何特征的方法,提出的方法PCANet-SVM可以获得更高的训练和测试准确率,表明了PCANet方法对于脑电信号特征提取的有效性,也为基于脑电信号的测谎提供了一种新的途径.

主成分分析网络；脑电；测谎；深度学习；支持向量机

电子学报URL:http://www.ejournal.org.cn DOI:10.3969/j.issn.0372-2112.2016.08.028

1 引言

近年来,基于生理心理学的测谎技术日趋成熟.脑电信号事件相关电位P300成分是对小概率新异刺激的响应[1].利用脑电信号进行的谎言测试(简称测谎),相对其它生理指标(如心电和皮肤电阻等)更能反映说谎过程的心理加工过程.很多研究人员发现,基于P300的测谎方法能有效地规避反测谎的影响,具有更高的准确性[2,3].

2006年Hinton等提出一种非监督式特征提取的方法[4],其以非人工手段进行特征提取而著称.该方法通过非限制玻尔兹曼机对数据进行降维,且其重构误差比主成分分析(Principal Components Analysis,PCA)小.相关领域的研究者也提出了一些其它典型的非监督学习网络[5],这类方法已经被应用到图像处理和语音分析领域.研究表明,可以通过非监督特征学习的方法自动提取样本数据深层次的特征表达[6].

2014年ChanTsung-Han等提出一种新的深度特征提取网络—主成分分析网络[7](Principal Components Analysis Network,PCANet).该网络由主成分分析、哈希运算及局部直方图生成三个基本操作构成.该方法已经在许多图像分类任务中表现出优异的性能[7～9],成为图像识别领域的一个研究热点,并由此产生一些新的优化算法,如Zeng Rui等根据PCANet演变出的多重主成分分析网络[8](Multilinear Principal Component Analysis Network,MPCANet)、多重线性主成分分析网络[9](Multilinear Discriminant Analysis Network,MLDANet)等.截止目前,上述这些方法的有效性仅仅在图像处理领域得到了验证.针对一维信号,PCANet方法是否也能够自动提取样本数据的深层次特征表达？其效果究竟如何？这些问题的研究都还未见任何报道.

脑电信号分析的一个重要方面就是对脑电信号进行特征提取.在测谎研究方面,脑电信号的提取主要包括时域特征(比如P300信号的幅值及潜伏期等)、频域特征、时频域特征[10]及其它非线性信号特征提取.这些都是根据先验经验构造的“手工”特征(hand-crafted features),具有一定程度的主观性和不确定性,如果能使用前述的深度学习理论对脑电信号进行处理,自动抽象提取信号的高层次特征,则为脑电信号的分析提供了一种新的途径.

Gao Wei等于2015年使用非监督学习网络对8导的脑电信号进行特征提取分析[11],得出相对单通道时域特征提取法,深度学习的自主特征提取方式有更优的特征表示,表明非监督学习网络可以应用于脑电信号的分析.

本文采集了30个说谎者和诚实者的8个导联的EEG信号,将两类受试者在这些电极上的探针刺激响应信号作为P300和非P300信号的数据集,作为原始的待分析信号,使用深度特征提取网络——PCANet,自动提取原始脑电信号的高层次特征表达,最后利用三类典型的分类器：反向传播神经网络(Back-propagation Network,BPNN)、支持向量机(Support Vector Machine,SVM)及线性分类器(Fisher Discrimination Analysis,FDA),对提取的两类特征向量进行分类,得到训练准确率及测试准确率结果,并与不使用PCANet时的分类结果进行比较.

2 PCANet的理论基础与算法

PCANet的特征提取过程分为以下3个步骤：

步骤1 输入层处理

对于第i个样本Ti,以k1×k2大小的片段滑动截取得到mn个片段,即xi,1,xi,2,…,xi,mn∈k1k2,其中xi,j表示第i个样本Ti的第j个片段向量化后的向量.对xi,j进行去均值处理,得到:

(1)

作为第i个原始样本预处理后的结果.对所有样本进行相同处理后,得到：

(2)

步骤2 中间层处理

设两阶段PCA的滤波参数分别为L1、L2(PCA算法中对特征值排序,靠前特征向量的个数取值).

第一阶段PCA操作：使用PCA算法对样本集X进行计算,PCA最小化重构误差的过程表达为：

(3)

其中IL1为L1×L1的单位矩阵.PCA算法表达如下：

(4)

其中matk1k2(v)表示将向量v∈k1k2投影为矩阵W∈k1×k2的函数,ql(XXT)表示计算XXT的第l个主成分特征向量.通过训练,将样本变换到新的空间：

(5)

第二阶段PCA计算：类似式(1)及式(2)的操作,对于第一阶段提取的L1个特征,可得到：

Z=[Z1,Z2,…,ZL1]∈k1k2×L1Nmn

(6)

步骤3 输出层处理

为了使样本的特征表达性更强,使用赫维赛德阶跃函数o(x)对特征值进行二值化,对原始样本Ti,二值化并进行加权处理后得到：

(7)

(8)

其中,Bh表示分块及直方图统计,fi表示采用PCANet提取第i个原始样本Ti的最终特征向量.

3 实验过程与数据处理

3.1 测谎协议

实验挑选了30个身体健康的本科生(平均年龄21.3岁)作为受试者,随机分为无辜和说谎两组.采用标准的三刺激测谎协议[2].实验前准备六个物品(人造仿真珠宝)及其相对应的图片.针对说谎者,在事先准备好的保险箱中放入任意两个物品,并要求受试者看清两个物品后,拿走其中的一个物品.被受试者拿走的物品作为探针刺激(Probe,P),箱子中剩下的物品作为靶刺激(Target,T),其余的物品作为无关刺激(Irrelevant,I)；针对无辜者,保险箱中放入任意一个物品,要求受试者看清物品即可,该物品作为T刺激,任选其它一个物品作为P刺激,剩下4个全部作为I刺激.

屏幕上随机显示6张物品的图片,受试者需要对图片做出鼠标的回应他/她是否见过该物品.受试者手中握有手柄,带有Yes及No两个按键.要求说谎者看见P刺激的时候做出欺骗行为,即回答没有看过(按No键),出现其余两类刺激的时候要求说真话(T刺激按Yes键,I刺激按No键),无辜组全说真话.

3.2 数据预处理

受试者的脑部电极安放在如下的位置：Fz,C3,Cz,C4,P3,Pz,P4,Oz,垂直眼电电极放在左眼上下2cm处,水平眼电电极放在外眼角处,前额接地,以右耳电极为参考电极M1.采用Neuroscan公司的Synamps作为放大器,通带频带为0.3～30Hz,采样频率500Hz,各导联阻抗均小于3kΩ.E-Prime2.0作为刺激软件.实验时每张图片随机出现50次,持续1秒,一次实验的时间为6分钟.每次实验中,P刺激、I刺激和T刺激出现的频率依次为16.7%、66.7%和16.7%.休息5分钟后,再次重复上述实验,每名受试者共做上述实验5次.最后,使用Scan4.0自带的工具滤除脑电波形的垂直(±70μV作为去除标准)和水平眼电伪差.

使用EEGLab工具箱[12]对连续的EEG波形进行分割,将受试者在P刺激后1000ms分割为一个P响应数据集(epoched dataset),该数据集保存为8×500的矩阵.

原始的脑电信号信噪比极低,为了去除相对于P300信号的自发脑电等噪声,使用少次平均技术去除噪声.图1中显示了任取的一名说谎者和一名无辜者在Pz电极上的3次、6次及25次的脑电信号的平均波形.可以看出相对原始波形,平均次数越多,说谎者的P300越明显.因此,平均次数对分类结果的影响在本文中也进行了分析.

当平均3次时,两类受试者分别得到约750(15*30*5/3)个数据集.将它们送入到PCANet特征提取模块进行计算.当不进行PCANet计算而直接进行分类时,需要将8×500的样本向量化为4000×1的样本.

在计算过程中,使用两个阶段的PCANet算法的计算结果作为原始样本的提取特征,两个阶段的滤波参数分别定义为L1和L2,对两阶段计算过程中的分片大小都定义为k1×k2.另外,平均次数不同也会导致输入PCANet的样本不同,由于以上参数有可能对最终的分类准确率有影响,采用网格搜索的方式进行寻优[8,13]：令L1=L2,k1=k2,并令L值从5到20依次变化,k1及k2依次从3到20变化,令C从3到8依次变化.

4 数据分类

通过以上特征提取,每类受试者的数据集变换为高层次的特征向量,类别标识分别为1和-1,将它们送到3个典型的分类器FDA、BPNN及SVM中,进行分类.为了验证PCANet对脑电信号进行特征学习的效果,将原始的脑电信号直接送到3个分类器中进行训练和测试的效果也进行了分析.提出的方法PCANet-SVM的特征提取及分类器训练过程如图2所示.

表1 六种分类模型的分类表现

分类器的训练和测试步骤如下:在不同的参数组合下,形成不同的样本数据,对每个分类器的训练过程使用10折交叉验证方法.计算在特定的参数组合下,分类器的训练及测试敏感度(说谎者的P300被正确划分的准确率)和特异度(无辜者的非P300被正确划分的准确率),然后分别计算10个准确率的均值及对应的标准差(Standard Deviation,SD),训练的敏感度及特异度准确率分别记为TRsen±SD和TRspe±SD.同理得到测试准确率,按照敏感度和特异度记为：TEsen±SD和TEspe±SD,及平衡的测试准确率BATest=(TEsen+TEspe)/2.

训练过程中,BPNN使用sigmoid激活函数(g(x)=1/(1+e-x)),隐层节点数变化范围设置为8到40,学习率变化范围为0.01到0.05,控制精度变化范围为0.001到0.005.在SVM分类器中,使用线性核函数,所有分类器参数使用LibSVM工具包进行优化选择.

5 实验结果

本文实验结果均在Matlab2010b环境下运行得到.使用图2中训练方法,将各个分类器的最高的BATest取值时的最佳参数及对应的分类表现显示在表1中.

从表1中可以看出：(1)SVM分类器的训练和测试准确率均要显著高于BPNN和线性分类器FDA,这与目前大多数三类分类器的比较结果一致；(2)结合使用了PCANet的分类模型相对没有使用该方法的模型,准确率均有所提高,比如PCANet-BPNN相对BPNN分类模型,训练和测试准确率均有所提高(平均训练准确率和平均测试准确率分别提高了2.42%和1.97%)；(3)最重要的是,在所有六个分类模型中,提出的方法PCANet-SVM的训练和测试准确率的表现最好,平均训练准确率为98.82%,平均测试准确率为95.09%.

计算结果表明提出的方法PCANet-SVM具有最好的分类效果,相对未提取任何特征的分类模型SVM,分类准确率得到了较大幅度的增加,表明了PCANet算法对原始脑电信号特征提取的有效性.

6 结束语

当前的基于EEG信号的测谎研究中,对EEG信号进行特征提取都是“手工”方式,基于时频域的特征全部来自于对脑电信号的先验经验.深度学习理论对传统的特征提取方式提出了挑战,它基于神经网络技术,在无监督的情况下,对输入样本进行特征的自我学习,得到样本的高层次抽象.

PCANet基于深度学习理论,可以对输入样本进行特征的自我学习.本文首次尝试将这一方法用于一维信号的特征提取领域.截止目前,PCANet方法仅仅在图像处理领域得到了应用.通过对比测谎研究中的多导的EEG信号,本文使用PCANet对原始的脑电信号进行了特征提取,实验结果表明,除了在图像处理领域,PCANet方法完全可以应用到一维信号的特征提取中,该方法可以有效的将原始的脑电信号做高层次的特征表达.虽然本文将PCANet应用在基于ERP的脑电测谎中,但是提出的方法可以推广应用到其它基于脑电信号的模式识别相关领域.实际上,它也为其它一维信号的特征提取提供了一种新的途径.

值得指出的是,通过测试发现,随着平均次数的依次增大,表1中的各个分类模型的表现并没有显著提升(当平均次数C=3时,几乎达到了最高的表现).我们猜测,这与PCANet的使用有关.基于实验结果,在实际测试过程中,可以仅仅对被试人员使用大约3次刺激,即可进行测试,所以相对于当前的BCD和BAD[14]等方法,提出的方法属于少次刺激的测谎方法[15],因此使得测谎过程更加简便,也大大降低了被测人员的疲劳程度,也可以有效地降低反测谎行为的发生,也因此可以提高测谎的准确率.

在PCANet的计算过程中,对于各种参数的优化取值,由于计算量等原因,本文处理相对简单.未来,还需要研究其它不同的参数取值对特征提取效果及分类表现的影响.

[1]BARRY R J,DE BALSIO F M.EEG-ERP phase dynamics children in the auditory Go/NoGo task[J].International Journal of Psychophysiology,2012,86(3):251-261.

[2]GAO J F,TIAN H J,YANG Y,et al.A novel algorithm to enhance P300 in single trials:application to lie detection using F-score and SVM[J].Plos One,2014,9(11):1-15.

[3]LABKOVSKY E,PETER ROSENFELD J.A novel dual probe complex trial protocol for detection of concealed information[J].Psychophysiology,2014,1(11):1122-1130.

[4]HINTON G E,SALAKHUTDINOVR R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[5]VINCENT P,LAROCHELLE H,BENGIO Y.Extracting and composing robust features with denoising auto-encoders[J].ICML,2008,25(592):1096-1103.

[6]YU D,HINTON G,MORGAN N,et al.Introduction to the special section on deep learning for speech and language processing[J].Audio Speech & Language Processing IEEE Transactions on,2012,20(1):4-6.

[7]CHAN T H,JIA K,GAO S,et al.PCANet:A simple deep learning baseline for image classification?[J].IEEE Transactions on Image Processing,2015，24(12)：5017-5032.

[8]ZENG R,WU J,SHAO Z,et al.Multilinear principal component analysis network for tensor object classification[J].ArXiv Preprint ArXiv:1411.1171,2014.

[9]ZENG R,WU J,et al.Tensor object classification via multilinear discriminant analysis network[A].ICASSP,2015[C].South Brisbane,QLD:IEEE,2015.1971-1975.

[10]庞存锁,刘磊,单涛.基于短时分数阶傅里叶变换的时频分析方法[J].电子学报,2014,(2):347-352.

PANG Cun-suo,LIU Lei,DAN Tao.Time frequency analysis is method based on short-time fractional fourier transform[J].Acta Electronica Sinica,2014,(2):347-352.(in Chinese)

[11]GAO W,GUAN J A,Gao J F.Multi-ganglion ANN based feature learning with application to P300-BCI signal classification[J].Biomedical Signal Processing and Control,2015,18:127-137.

[12]DELORMEA,MAKEIG S.EEGLAB:an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis[J].Journal of Neuroscience Methods,2004,134(1):9-21.

[13]LIU C,WECHSLER H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].Image Processing,2002,11(4):467-476.

[14]Rosenfeld J P,Hu X,Pederson K.Deception awareness improves P300-based deception detection in concealed information tests[J].International Journal of Psychophysiology,2012,86(1):114-121.

[15]高军峰,张文佳,杨勇,胡佳,陶春毅,官金安.基于P300和极限学习机的脑电测谎研究[J].电子科技大学学报，2014,43(2):301-305.GAO Jun-Feng,ZHANG Wen-Jia,YANG Yong et al.Lie detection study based on P300 and extreme learning machine[J].Journal of University of Electronic Science & Technology of China,2014,43(2):301-305.(in Chinese)

顾凌云 女，1991年3月出生,江苏常州人.于2014年就读中南民族大学生物医学工程系硕士研究生,从事脑电信号处理与模式识别方面的研究.

E-mail:gulingyun-lea@126.com

吕文志 男，1994年2月出生,湖北监利人.于2012年就读于中南民族大学生物医学工程学院.现为华中科技大学国家光电实验室研究生.从事生理信号分析及图像处理方面的有关研究.

E-mail:lvwenzhi@mail.scuec.edu.cn

杨 勇 男，1976年10月出生，湖北鄂州人.2005年博士毕业于西安交通大学生物医学工程专业，现为江西财经大学信息管理学院教授.主要研究方向为医学图像/信号处理、模式识别.

E-mail:greatyangy@126.com

高军峰(通讯作者) 男，1973年10月出生,湖北武汉人.副教授,硕士生导师,2005年和2011年分别在武汉理工大学和西安交通大学获得工学硕士和工学博士学位.现为中南民族大学教师,主要从事生物医学信号处理、神经网络和机器学习等方面的研究工作.

E-mail:junfengmst@163.com

Deception Detection Study Based on PCANet and Support Vector Machine

GU Ling-yun1,2,LÜ Wen-zhi3,YANG Yong4,GAO Jun-feng1,2,5,GUAN Jin-an1,2,ZHOU Dao1,2

(1.SchoolofBiomedicalEngineering,South-CentralUniversityforNationalities,KeyLaboratoryofCognitiveScience,StateEthnicAffairsCommission,Wuhan,Hubei430074,China;2.HubeiKeyLaboratoryofMedicalInformationAnalysis&TumorDiagnosisandTreatment,Wuhan,Hubei430074,China;3.WuhanNationalLaboratoryforOptoelectronics,HuaZhongUniversityofScienceandTechnology,Wuhan,Hubei430074,China;4.SchoolofInformationTechnology,JiangxiUniversityofFinanceandEconomics,Nanchang,Jiangxi330000,China;5.SchoolofLifeScienceandTechnology,UniversityofElectronicScienceandTechnology,Chengdu,Sichuan610054,China)

Principal Components Analysis Network (PCANet) is a feature extraction method based on deep learning theory and unsupervised learning modes，which overcomes the shortcoming of hand-crafted features and its efficiency has been only proved in several literatures for picture processing.In this paper,PCANet is applied to process the one dimensional signals for the first time in order to overcome the disadvantages of hand-crafted features from EEG signals in deception detection.PCANet is used to extract features from raw EEG signals in the deception detection experiment.The feature vectors were fed into three classifiers including Support Vector Machine (SVM) to classify the guilty and innocent subjects.The experimental result was compared with the results from other classifiers and the mode of using raw EEG signals as features.The experimental results show that the proposed method PCANet-SVM obtains the highest training and testing accuracy,which indicates the efficiency of extracting features from EEG signals and provides a new solution of detecting lying.

principal components analysis network (PCANet);EEG;deception detection;deep learning;support vector machine

2015-05-01;

2015-07-17;责任编辑：梅志强

国家自然科学基金(No.81271659，No.61262034，No.61462031，No.91120017);江西省自然科学基金(No.20151BAB207033);中国博士后科学基金(No.2014M552346)

R318

A

0372-2112 (2016)08-1969-05