汪露雲，孔万增，彭 勇，孙俊峰

(1.杭州电子科技大学计算机学院，浙江 杭州 310018；2.上海交通大学生物医学工程学院，上海 200030)

心理旋转视觉刺激阶段的微状态编码研究

汪露雲1，孔万增1，彭 勇1，孙俊峰2

(1.杭州电子科技大学计算机学院，浙江 杭州 310018；2.上海交通大学生物医学工程学院，上海 200030)

为了实现心理旋转认知过程的可视化，研究了心理旋转视觉刺激阶段的微状态编码.采集11位被试在12种不同刺激下的脑电数据，利用基于经典K-means聚类方法进行微状态编码，将事件相关电位的脑电活动聚类为4类微状态(A，B，C，D),并且分析视觉刺激编码阶段的微状态编码序列及大脑激活区域.通过实验分析得到：不同视觉刺激普遍存在从A→B→A的微状态编码序列，即大脑呈现一个从后顶枕区到前半球再到后顶枕区的交替激活过程.

脑电信号；微状态编码；心理旋转；事件相关电位；K-means

0 引 言

心理旋转(mental rotation)是一种反映实际运动能力和空间认知能力的高级认知任务[1].心理旋转任务是一种高级认知过程，能够对处于不同位置的物体内隐性地想象其运动[1].心理旋转是测量个体空间能力的重要指标之一.在当前空间认知领域，对心理旋转能力的研究具有重要的意义.利用心理旋转训练能提高空间技能，并且可以用来评估心理旋转能力[2]；对脑卒中患者而言，基于心理旋转运动功能的康复和评估具有重要的临床价值以及广阔的应用前景[3]；对抑郁症患者进行心理旋转脑生理机制研究中，心理旋转能力受损的脑地形图可以作为重要的临床诊断指标[4].

1971年，Roger S.等[5]首先提出了“心理旋转”这一概念，并且对心理旋转信息加工机制进行了研究.他们采用行为学研究方法，发现随着视觉空间角度的变大，被试判别视觉刺激所需的反应时间变长.随后，Martin H.等[6]采用基于行为学结果的心理旋转模型，首先对视觉刺激进行编码，随后对视觉刺激图片进行空间上的选择，最后做出反应选择和执行.Qingguo M.等[7]利用事件相关电位和行为数据探讨中度和短暂低氧对正常和镜像二维字母心理旋转神经机制的影响.Wolfgang R.等[8]利用功能磁共振成像对被试完成三维物体心理旋转时的大脑活跃程度进行研究.闫静等[3]利用相位同步技术对皮层区域之间的关系进行描述，并且通过构建神经网络来描述脑卒中患者的心理旋转功能神经网络的特性.张弘[9]借助基于多变量格兰杰因果性的PDC研究认知处理中皮层之间的关系，利用基于脑电信号的多通道自回归模型，研究了汉字心理旋转下的皮层相互作用网络.

本文对不同旋转角度下的左右手视觉刺激图片进行心理旋转认知任务测试，并使用微状态的方法对事件相关电位的脑电活动进行研究分析.使用基于经典的K-means聚类方法提取出微状态，并得到心理旋转认知过程中4个最佳拟合的微状态地形图(A，B，C，D)，并且对视觉刺激编码阶段进行了分析.

1 实验设计与数据处理

1.1 实验设计

使用德国Brain Products公司生产的32通道的脑电采集系统对11位被试在执行心理旋转认知过程中的脑电数据进行采集.视觉刺激图片为左右手不同旋转角度的图片，分别为0°，60°，120°，180°，240°，300°，共12种刺激.视觉刺激图片随机呈现给被试，被试被要求判断图片是左手或是右手，并且根据判断，做出相应的按键反应.若视觉刺激图片显示为左手，则用左手食指按键盘“A”键；若为右手，则用右手食指按键盘“L”键.视觉刺激图片的时间间隔为800 ms，在此期间显示屏上显示一个黑色的“+”，之后会随机呈现一种视觉图片，被试做出按键反应后图片消失.实验视觉刺激的呈现材料是由E-Prime软件编排，记录行为学反应参数，并且反应到EEG数据上.记录中头皮阻抗控制在5 kΩ以内，采样频率为1 000 Hz.

实验数据由上海交通大学与上海市第五人民医院神经内科合作采集，杭州电子科技大学进行数据分析和研究.正常被试平均年龄为(60.1±6.9)岁，范围为45～68岁，男女比例为6∶5.

1.2 数据处理

对记录的EEG数据进行预处理，首先去除眼电EOG伪迹，接着对EEG数据进行参考转换以及滤波，带通滤波到0.01～30 Hz.根据视觉刺激呈现时刻标记点，对视觉刺激出现前200 ms至刺激出现后1 000 ms的EEG数据进行分段.以-200 ms～0 ms的平均电压均值作为基线进行基线校正，然后去除分段中包含幅值超过±100 μv的全部分段，最后根据刺激类型将分段后的EEG信号进行叠加平均.

2 微状态模型

微状态是多通道的脑电活动在一段时间内被视作一连串非重叠的状态[10-13].每一个时刻t的脑电活动，都对应于一类微状态k(k=1,2,…,Nμ),一个时间片段内的脑电活动可以用一组向量Γ来表示.

基于平均参考的微状态模型表示为：

(1)

其中，Nμ是微状态的个数；Vt是一个Ns×1维的向量，由在t(t=1,2,…,NT)时刻的头皮脑电测量数据组成；Ns是记录脑电数据的电极数量；Γk是归一化的Ns×1维向量，表示第k个微状态；akt是在t时刻下微状态Γk的系数.

据《温州府志》记载，“永嘉水则：平字上高七寸合开陡门，至平字诸乡合宜，平字下低三寸合闸陡门”，宋元祐三年（1088年）立在谯楼前五福桥西北第二间石柱上。而位于瞿屿古闸中孔上游右墩上呈竖直排列的“开平闸”三个古汉字，经测量其顶部高程分别为 3.55 m、3.33 m、3.22 m，即竖直排列的字体间距；“开”字顶部横划与“平”字顶部横划间距为七寸，“平”字顶部横划与“闸”字顶部横划间距为三寸，与“永嘉水则”描述的高七寸和低三寸完全吻合。因此，可以断定“开平闸”即“永嘉水则”。 “永嘉水则”为“平字水则”的最早水则，而“开平闸”石刻为“永嘉水则”现存的唯一实物见证，具有较高的研究价值。

为了使t时刻下微状态非重叠，令akt全为0，有且仅有1个为1.因此，在每一个时刻t，式(1)都存在1个单一的非零项来对应该时刻的微状态，那么akt必须满足以下约束：

(2)

给定1个Nμ，通过求下列函数的极小化来估计模型参数：

(3)

本文算法由2个基本步骤迭代交替组成.

第一步，给定一个归一化线性独立的向量组Γk(k=1,2,…,Nμ).函数式(3)的最小值在约束式(2)的条件下获得.计算每个测量向量和每个微状态之间的正交平方距离

(4)

每个测量值被标记为与其最接近的微状态的那一类，假设Lt表示微状态的标签，那么

(5)

(6)

第二步，给定一个Lt，通过求解矩阵S最大特征值的特征向量，来求解归一化的微状态Γk，计算得到

(7)

值得注意的是，求和仅包括当Lt=k的时间点.Lt对应于每个时刻t的微状态.因此，

(8)

这部分算法是对所有微状态执行的.

算法在式(4)～(6)和式(7)～(8)之间交替迭代，从对微状态Γk或标签Lt的初始化猜测开始，并且在函数F迭代至可忽略时终止，通常情况下，Fmin<10-6.因此，函数的最小值

(9)

完成微状态算法的交替迭代之后，采用K-means算法对多通道的脑电数据进行聚类，把Γk作为聚类中心，然后计算每个点到聚类中心的距离，将每个点聚类到距离该点最近的那一类中，接着计算每一个聚类中所有点坐标的平均值，将所求的平均值作为新的聚类中心，之后进行反复迭代直到迭代结束，根据最后得出的聚类中心画出地形图.

3 实验结果分析

图1 12种不同视觉刺激下微状态地形图

心理旋转认知过程一般包括3个阶段，分别为视觉刺激编码阶段、心理旋转阶段、反应执行阶段.视觉刺激编码阶段为从刺激出现到300ms，心理旋转阶段为300ms～700ms，反应执行阶段为700ms～1 000ms[1,3,12].本文对11位被试，28个通道的脑电数据进行分析，根据本文算法给定Nμ=4，在12种不同视觉刺激下，11位被试数据叠加平均后4个最佳拟合微状态地形图如图1所示.

图1中，第1个微状态编码A和第2个微状态编码B对应于视觉刺激编码阶段，第3个微状编码态C对应于心理旋转阶段，第4个微状态编码D对应于反应执行阶段.从图1中可以看出，微状态编码A对应的大脑激活区域在双侧后顶枕区，微状态编码B对应的大脑激活区域在双侧前半球(额、中央区)，微状态编码C对应的大脑激活区域在双侧顶区，微状态编码D对应的大脑激活区域在额叶区.在视觉刺激编码阶段，对于12种不同视觉刺激，存在1个从A→B→A的微状态编码序列，大脑的激活区域从双侧后顶枕区到双侧前半球(额、中央区)再回到双侧后顶枕区.

视觉刺激编码阶段是被试对外在视觉刺激的一种外源性反应，需要对视觉刺激进行编码，其中包括刺激物体的物理属性(如形状、颜色)和空间方位[3].根据图1中微状态地形图可以看出，大脑的激活区域从双侧后顶枕区到双侧前半球(额、中央区)再回到双侧后顶枕区.顶叶主要负责空间信息的编码，当对视觉刺激进行空间编码时顶叶被激活.由于本实验采用的视觉刺激图片是旋转到不同角度的左手和右手图片，与手有关的运动皮层会被激活，因此，在视觉编码阶段中央区以及额叶也会被相应激活.心理旋转阶段是被试对外在视觉刺激的一种内隐性的空间旋转，类似于真实的将视觉刺激物体旋转到正确空间位置的物理旋转，需要双侧顶叶参与，而顶叶负责大脑的空间感知、信息处理、运动执行[3].反应执行阶段是被试对心理旋转视觉刺激的决策阶段，需要前额参与，而前额是负责决策的区域.

为了更好地验证在视觉刺激编码阶段可能存在一个从A→B→A的微状态编码序列，本文实验得出11位被试在旋转到不同角度左右手的12种视觉图片刺激下观察到的微状态编码序列，如表1所示.

表1 视觉刺激编码阶段，11位被试在12种刺激下的微状态编码序列

对11位被试在12种不同视觉刺激情况下进行微状态编码序列统计，统计结果如表2所示.在视觉刺激编码阶段，计算每位被试在12种视觉刺激下微状态A，B，C，D的数量以及占4类微状态总数量的比例，并且计算12种视觉刺激下A→B→A的微状态序列出现次数及比例.

表2 11位被试，12种视觉刺激下不同微状态的总数量以及比例

被试编号微状态呈现统计结果微状态A,B,C,D微状态总数量A数量比例/%B数量比例/%C数量比例/%D数量比例/%A→B→A次数比例/%V1391948.721230.7725.13615.38866.67V2402255.001230.0037.5037.50975.00V3442352.271227.2736.82613.641191.67V4402253.661331.71512.2012.441083.33V5432455.811227.9124.65511.6312100.00V6421945.241228.57819.0537.14866.67V7442250.001329.55613.6436.82975.00V8422354.761228.57614.2912.381191.67V9372055.561233.3312.7838.33866.67V10442045.451431.82715.9136.82866.67V11401845.001332.50615.0037.50758.33平均值---------975.00

从表2可以看出，11位被试在12种不同视觉刺激情况下4类微状态编码的统计结果，对于每位被试而言，微状态编码A和微状态编码B的数量以及占12种不同视觉刺激下微状态编码总量的比例最高；微状态编码A的比例约为微状态编码B的比例的1.5～2倍；平均所有被试的结果，存在A→B→A微状态编码序列的比例为75.00%.

4 结束语

本文为了实现心理旋转认知过程的可视化，研究了基于脑电信号微状态的心理旋转认知过程，分析心理旋转过程中视觉刺激编码阶段的微状态编码序列及其大脑皮层的激活模式.通过实验数据分析得到初步结论：在视觉刺激编码阶段，对于不同视觉刺激，普遍存在一个共同的A→B→A微状态编码序列，对应大脑的激活区域呈现出从双侧后顶枕区到双侧前半球(额、中央区)再回到双侧后顶枕区的变化过程，为大脑的视觉刺激认知加工机制研究提供了有效途径.

[1]HEIL M.The functional significance of ERP effects during mental rotation[J]. Psychophysiology, 2002,39(5):535-545.

[2]MENEGHETTI C, BORELLA E, PAZZAGLIA F. Mental rotation training: transfer and maintenance effects on spatial abilities[J]. Psychological Research, 2016,80(1):113-127.

[3]闫静.基于脑电的脑卒中患者运动想象认知过程的研究[D].上海:上海交通大学,2012.

[4]陈玖,杨来启,刘光雄,等.抑郁症患者心理旋转的事件相关电位脑地形图研究[J].中华行为医学与脑科学杂志,2012,21(2):135-138.

[5]SHEPARD R N, METZLER J. Mental rotation of three-dimensional objects[J]. Science, 1971,171(3972):701-703.

[6]HEIL M, ROLKE B. Toward a chronopsychophysiology of mental rotation[J]. Psychophysiology, 2002,39(4):414-422.

[7]MA Q, HU L, LI J, et al. Different Effects of Hypoxia on Mental Rotation of Normal and Mirrored Letters: Evidence from the Rotation-Related Negativity[J]. Plos One, 2016,11(5).

[8]RICHTER W, SOMORJAI R, SUMMERS R, et al. Motor area activity during mental rotation studied by time-resolved single-trial fMRI[J]. Journal of Cognitive Neuroscience, 2000,12(2):310-320.

[9]张弘.汉字心理旋转的皮层相互作用网络[D].上海:上海交通大学,2010.

[10]PASCUALMARQUI R D, MICHEL C M, LEHMANN D. Segmentation of brain electrical activity into microstates: model estimation and validation[J]. IEEE Transactions on Biomedical Engineering, 1995,42(7):658-665.

[11]HU L, VALENTINI E, ZHANG Z G, et al. The primary somatosensory cortex contributes to the latest part of the cortical response elicited by nociceptive somatosensory stimuli in humans[J]. Neuroimage, 2013,84(1):383-393.

[12]YAN J, GUO X, JIN Z, et al. Cognitive alterations in motor imagery process after left hemispheric ischemic stroke[J]. PloS one, 2012,7(8):753-756.

[13]周凌霄,丁一琦,戴渊明,等.基于脑电“微状态”的驾驶员脑负荷研究[J].杭州电子科技大学学报,2014,34(4):23-26.

The Study of Mental Rotation with Visual Stimulation Stage Based on Microstates

WANG Luyun1, KONG Wanzeng1, PENG Yong1, SUN Junfeng2

(1.SchoolofComputerScienceandTechnology,HangzhouDianziUniversity,HangzhouZhejiang310018,China; 2.SchoolofBiomedicalEngineering,ShanghaiJiaoTongUniversity,Shanghai200030,China)

In order to realize the visualization of the cognitive process of mental rotation, this paper studied the mental rotation with visual stimulation stage based on microstates. By using 12 different picture stimuli in such mental rotation cognitive task, it collected EEG data from 11 subjects which will be analyzed based on the classical K-means clustering method to investigate the microstates. With EEG data of the event-related potential clustered into four microstates (A, B, C, D), it analyzed the microstates sequence and the active region of the brain during the visual stimulation stage. From the experimental results, it observed that the coding sequence had a specified mode A→B→A, and then the brain had an alternation activation process of the brain activation area.

electroencephalogram; microstates; mental rotation; event-related potential; K-means

10.13954/j.cnki.hdu.2017.03.009

2016-11-18

国家自然科学基金资助项目(61671193，61673267)；国家国际科技合作专项资助项目(2014DFG12570)

汪露雲(1993-)，女，浙江龙游人，硕士研究生，计算机科学与技术.通信作者：孔万增教授，E-mail:kongwanzeng@hdu.edu.cn.

TP391

A

1001-9146(2017)03-0040-05