金忠星 李东

摘 要：通过对于人类大脑活动的研究来分析消费者对广告和产品的反应的神经营销正在受到新的关注。针对基于脑电波（EEG）的神经营销，提出了一种基于深度学习神经网络的消费者对产品的偏好预测方法。首先，为了提取消费者EEG的特征，采用短时傅里叶变换（STFT）与双调和样条插值，从多通道脑电信号中得到了5个不同频带的EEG形图视频;然后，提出了一种结合5个三维卷积神经网络（3D CNN）与多层长短期记忆（LSTM）神经网络的预测模型，用于从脑电地形图视频预测到消费者的偏好。与卷积神经网络（CNN）模型和LSTM神经网络模型相比，消费者依赖模型的平均准确度分别提高了15.05个百分点和19.44个百分点，消费者独立模型的平均准确度分别提高了16.34个百分点和17.88个百分点。理论分析与实验结果表明，所提出的消费者偏好预测系统可以以低成本提供有效的营销策略开发和营销管理。

关键词：深度学习;三维卷积神经网络;长短期记忆神经网络;神经营销;脑电地形图视频

Abstract： Neuromarketing， by which consumer responses to advertisements and products are analyzed through research on human brain activity， is receiving new attention. Aiming at neuromarketing based on ElectroEncephaloGraphy （EEG）， a method of consumer preference prediction based on deep learning neural network was proposed. Firstly， in order to extract features of consumers EEG， five different frequency bands of EEG topographic videos were obtained from multi-channel EEG signals by using Short Time Fourier Transform （STFT） and biharmonic spline interpolation. Then， a prediction model combining five three-Dimensional Convolutional Neural Networks （3D CNNs） and multi-layer Long Short-Term Memory （LSTM） neural networks was proposed for predicting consumer preference from EEG topographic videos. Compared with the Convolutional Neural Network （CNN） model and LSTM neural network model， the average accuracy of consumer-dependence model was increased by 15.05 percentage points and 19.44 percentage points respectively， and the average accuracy of consumer-independence model was increased by 16.34 percentage points and 17.88 percentage points respectively. Theoretical analysis and experimental results show that the proposed consumer preference prediction system can provide effective marketing strategy development and marketing management at low cost.

Key words： deep learning; 3D Convolutional Neural Network （3D CNN）; Long Short-Term Memory （LSTM） neural network; neuromarketing; ElectroEncephaloGraphy （EEG） topographic video

0 引言

準确了解消费者想要什么以及消费者愿意做什么，对每家公司来说既是渴望又是挑战，因此，许多公司在消费者研究方面投入了大量资金，以提前掌握消费者对产品或广告的反应。然而，与由于各种原因（包括消费者和社会关系的主观感受）导致的公司所花费的成本和时间相比，传统的研究技术（例如焦点小组访谈和调查）往往未能提供令人满意的结果。

最近，“神经营销”作为克服传统消费者研究局限的更科学的研究技术而备受关注。神经营销，是人类大脑生物学研究中的神经和商业营销的结合名词。它通过测量消费者的大脑活动，分析大脑活动信息（如无意识反应等），进而了解消费者的心理和行为，并将其应用于营销。在21世纪，先进的高级工程技术应用于脑生理学领域，这使人们能够通过开发安全的大脑活动测量装置来测量大脑活动信息，创造了一种研究消费者意识的新分析方法。通过这种方法，公司在投入大量营销成本之前，能够定量地测量产品或广告对消费者潜意识的影响。

近年来，如功能磁共振成像（functional Magnetic Resonance Imaging， fMRI）、脑磁图（MagnetoEncephaloGraphy， MEG）和脑电波（ElectroEncephaloGraph， EEG）的测量装置已经频繁用于神经营销。一项研究利用fMRI数据分析了27名青少年的大脑活动，并预测了音乐的受欢迎度，该研究结果显示参与者的大脑反应与三年后的销售量成正比。然而，这些实验的成本是巨大的，并且由于诸如保险、维护和可移植性问题之类的额外成本，在神经营销中使用fMRI是有限的。MEG用于捕获由神经元活动引起的大脑活动。这种神经元活动产生的磁场由MEG通过时空信息放大和映射。然而，由于成本较高、技术复杂并且皮层下区域的成像访问受限，因此不优选作为开发神经营销系统的装置。与fMRI和MEG相比，脑电波测量装置便宜，不限制电极的数量，易于操作，易于携带，维护成本低得多，同时提供高时间分辨率，因此，本研究专注于使用脑电信号来分析大脑活动信息，并对消费者产品偏好进行分类和预测[1-2]。

目前，使用脑电波信号的神经营销研究已取得一定成果。有一些研究者发现消费者对产品的脑电波与消费者购买决策之间存在相关关系，因此得到采用脑电波方法的利润增长率几乎是问卷调查方法三倍的研究结论[3-4]。在研究中，有学者提出了通过使用主成分分析或带通滤波器进行预处理并进行傅里叶变换来定量计算消费者偏好和腦电波频带之间的相关性的方法[5-6]。此外，一些学者还提出了消费者偏好预测框架来预测消费者对颜色和视频的情绪状态[7-8]。

根据以往的研究结果，本研究开发了一种基于深度学习神经网络从消费者脑电信号功率谱密度预测产品偏好的新方法。近来，作为人工智能的机器学习领域的深度学习已经成功地应用于各种领域，例如计算机视觉、图像和视频分类、预测、语音识别、自然语言处理、网络搜索和自主导航。当然，在脑电图研究领域也有许多研究使用深度学习[9-10]。本研究的目的是提出一种神经营销框架，通过分析脑电波信号来预测消费者对电子商务产品的偏好。该研究首先使用短时傅里叶变换（Short Time Fourier Transform， STFT）来计算多通道脑电波信号的功率谱密度，并且用双调和样条插值（Biharmonic spline interpolation）从多通道脑电波信号功率谱密度来作出脑电地形图。由于脑电地形图是圆形的，因此没有数值的非数区域存在脑电地形图矩阵的四个角中。这些脑电地形图随时间排列的话，它变成与视频类似的三维格式，称为脑电地形图视频。从5个频带中得到的5个脑电地形图视频分别输入到5个三维卷积神经网络（3D Convolutional Neural Network， 3D CNN）。为了处理脑电地形图的非数区域，定义面膜层并将其插入到卷积层与池化层之间。将5个卷积神经网络（Convolutional Neural Network， CNN）的结果连接成一个矩阵，接着将其输入到长短期记忆（Long Short-Term Memory， LSTM）神经网络。在这里，卷积神经网络用作特征学习端，用于从5个频带的消费者功率谱密度脑电地形图视频中提取特征，并且长短期记忆神经网络作用于得到的特征预测消费者的产品偏好的分类端。通过实验过程和结果，确定了结合三维卷积神经网络和长短期记忆神经网络的预测模型的结构参数，并与其他预测方法进行了准确度对比。

1 脑电波信号测量和预处理

如图1所示，根据国际10-20电极放置方案，在32个电极位置上测量脑电波信号。32个电极的位置如下：FP1、FP2、AF3、AF4、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T7、T8、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、Oz、O1、O2。测量的脑电波信号以1024Hz采样并发送到电脑。在电脑中，脑电波信号再次被下采样到128Hz并通过50Hz巴特沃斯（Butterworth）低通滤波器。

在该实验中，20名年龄在18至40岁之间的男女消费者（13名男性和7名女性）自愿参加。产品图片在电脑屏幕上显示4秒钟，消费者就所显示的产品选择“喜欢”或“不喜欢”。电脑屏幕上显示的产品如图2所示。如图中所示，6种类型的产品选择了3种不同颜色和不同形式的样本。

2 本研究提出的预测系统

在本章中，本文叙述了使用短时傅里叶变换和双调和样条插值[13]，作出5个频带功率谱密度脑电地形图视频的预处理过程，然后提出了构建预测模型的过程。

2.1 脑电地形图视频

正如在引言中已经提到的，许多研究人员已经研究并建议消费者对产品的偏好可以引起脑电波信号频带的变化，因此，本研究感兴趣的是脑电波信号的功率谱密度作为研究中预测模型的输入数据。功率谱密度可以通过短时傅里叶变换获得。短时傅里叶变换是用于利用窗函数表示非平稳信号的时频分布的时频分析方法。短时间傅里叶变换的计算方法是将长时间信号分成相同长度的窗段，然后分别在每个窗段上计算傅里叶变换[11]。信号s（t）的短时间傅里叶变换F（τ，ω）定义为;

从上面的公式中可以看出，通过沿着输入信号时间轴移动窗来计算每个窗段的傅里叶变换。在短时间傅里叶变换的功率谱密度中，更宽的窗函数导致更好的频率分辨率，并且更窄的窗函数导致更好的时间分辨率[12]。该研究中，窗的长度和相邻窗之间的重盖交叠长度“重盖长度”这个词是表述正确吗？请明确分别设置为128和120，并且使用哈明窗函数。

脑电波信号具有时间、频率和空间特征，空间特征反映了头皮上的电极位置。通用脑电波信号分类预测方法从多通道脑电波信号中提取特征并应用分类预测算法。然而，没有建议此句不通顺，需作相应调整反映电极位置信息的分类预测方法。该研究试图基于电极的位置制作脑电地形图。当脑电地形图随着时间排列时，最终获得脑电地形图视频。脑电地形图视频可以显示头皮上脑电波信号的功率谱密度如何随时间变化。为了作出脑电地形图，将Cz电极位置设定为极坐标系的中心点，并将剩余的31个电极位置相对排列。

然后，这32个电极的位置矢量被转换成正交坐标系的位置矢量。将双调和样条插值[13]应用于32个正交坐标系上的坐标点处的脑电信号功率谱密度，并在41×41网格上绘制脑电地形图。通过在每个时间点重复该过程来获取脑电地形图视频。通常，根据频带将脑电波信号分为δ波（0～4Hz）、θ波（4～8Hz）、α波（8～13Hz）、β波（13～30Hz）和λ波（30～50Hz），因此，计算每个频带中的功率谱密度的总和来获得5个频带的脑电地形图视频。当从4s的脑电波信号生成脑电地形图视频时，该脑电地形图视频由41×41×49矩阵数据表示。其中49是时间点数。该脑电地形图视频在[-1，+1]区间缩放并输入到神经网络输入层。图3显示0.5、1.5、2.5和3.5s时间点的脑电地形图。

如图3所示，在41×41网络上绘制的脑电地形图具有圆形形状，四个角上的空白区域是没有数值的区域。将此区域定义为非数区域。该研究中，为了便于在神经网络中进行计算，非数区域用0填充。当输入数据通过神经网络的每个层时，在非数区域中可以生成非零值，并且这些非数区域的非零值可以影响后层的计算，因此，每当在非数区域中生成非零值时，就必须将其除去。

2.2 卷积神经网络模型

卷积神经网络（CNN）是在人类神经系统中提出的非常有用的神经网络，并且在各种应用中表现出优异的性能。卷积神经网络是一种分层结构，在卷积层和池化层交错时提取入口数据的特征。

卷积层通过滑动窗口方式从输入数据中提取特征，该方式实现表示数据特征的特征映射。执行特征映射的卷积内核的权重在卷积层中共享，并且本地链接到输入数据。池化层通过卷积层中的特征映射的平均池化或最大池化来减小输出维度的大小，因此，可以忽略诸如输入数据中的精细移位或失真的变化。在卷积神经网络的最终结构中，神经网络完全连接并输出到一维向量。卷积神经网络包括一维、二维和三维的卷积神经网络，通常，一维应用于序列数据，二维应用于图像数据，三维应用于视频数据。

人脑活动产生的脑电信号不仅随着时间和频率而变化，而且随着通道而变化。这些三维数据不仅应考虑空间（通道和频率）特征，还应考虑时间特征。二维卷积神经网络已经在许多图像识别应用中得到了广泛的研究，并且已经显示出良好的结果，但仅限于处理单帧输入。三维卷积神经网络（3D CNN）可以同时提取空间和时间的特征，超过了视频分析中二维卷积神经网络的性能[14-15]。在这研究中，三维卷积神经网络用于三维脑电地形图视频的特征学习。图4显示了三维卷积神经网络的结构。

三维卷积神经网络通过以三维体积格式输入数据来一起学习空间特征和时间特征。这种时空特征学习是通过三维卷积和三维池化操作实现的。使用ReLU（Rectified Linear Unit请补充ReLU的英文全称）作为激活函数的属于第i层的第j个特征映射中的（x，y，z）位置的值通过式（3）计算：

2.3 长短期记忆神经网络模型

长短期记忆（Long Short-Term Memory， LSTM）神经网络是一种能够学习长期依赖性的特殊类型的循环神经网络，旨在通过短期记忆解决长期依赖性问题。长短期记忆神经网络能够处理甚至最长的序列数据而不会消失梯度，现在，它被广泛用于解决序列数据问题，例如语音识别、自然语言处理和图像的自动注释。

如图5所示，长短期记忆神经网络在单个单元中具有复杂的循环结构，其在时间上按时间順序连接。长短期记忆神经网络具有两个属性值：一个是随时间变化的单元的隐藏状态H（t）值，另一个是使得可以长期维持存储器的单元状态C（t）。在图5中，在框图中沿着长短期记忆神经网络单元的顶行水平改变单元状态。长短期记忆神经网络可以在单元状态中添加或删除信息。遗忘门F（t）调整输入X（t）和先前隐藏状态H（t-1）与单元状态C（t）的连接，允许单元记住或忘记X（t）和H（t-1），并且输入门I（t）和I′（t）确定是否将输入值送到单元状态C（t）。输出门O（t）还基于单元状态C（t）确定单元的输出[16-18]。该过程如式（4）～（9）所示：

其中：W和B分别表示权重矩阵和偏差矢量，σ（·）表示sigmoid函数，tanh（·）表示双曲正切函数。从长短期记忆神经网络的特性可以看出，可以通过反映单元的状态和内部状态来精确地控制输入数据。此外，固定长度和可变长度数据都可以在长短期记忆神经网络入口和出口处理。当将长短期记忆神经网络与其他类型的深度学习神经网络一起结合使用时，这种优势比单独使用长短期记忆神经网络更明显。

2.4 结合卷积神经网络与长短期记忆神经网络的预测模型

三维卷积神经网络可以提取许多有用的特征，以确保从输入数据成功预测，具体取决于三维内核的大小。这样提取的特征也以三维矩阵表示。也就是说，它是一种时空特征。然而，像典型的卷积神经网络一样，当通过在最后全连接层将三维特征矩阵制作成单个矢量来进行分类时，可能时空特征丢失它们自己的信息。另一方面，如上所述，长短期记忆神经网络具有非常适合于时间序列数据的结构，因此，可以从其固有特性在记忆输入数据的长时间历史并同时输出结果。如果建立将三维卷积神经网络作为特征学习端与将长短期记忆神经网络作为分类/预测端的结合模型，该模型可以获得非常好的结果，所以，本研究提出了一种新的消费者偏好预测模型，通过长短期记忆层而不是全连接层，以便在保持从三维卷积神经网络特征学习获得的时空特征信息同时执行预测。

图6显示所提出的结合三维卷积神经网络与长短期记忆神经网络的预测模型。如图6所示，由于脑电地形图是圆形，因此在输入到卷积神经网络的脑电地形图视频中存在未定义数值的非数区域（参见图3）。为了便于在卷积神经网络中进行计算，非数区域填充了零。然而，由于卷积神经网络的特性，在通过卷积层之后在非数区域中产生一些非零数值。这是不必要的结果，会对后层产生不利影响，因此，在通过卷积层之后，应该去除在非数区域中产生的非零数。在该研究中，定义一个面膜层来去除非零值并将其插入到在卷积层和池化层之间。面膜层预定义0和1元素组成的面膜矩阵，并进行面膜矩阵与卷积层结果的对应元素乘法，以去除在非数区域中的非零值。非数区域在通过卷积层和池化层的过程中逐渐变小并消失，因此必须应用面膜层，直到非数区域消失。

如图6所示，在5个频带中得到的脑电地形图视频数据分别输入到5个三维卷积神经网络。每个三维卷积神经网络由几个卷积层、面膜层和池化层组成。各个三维卷积神经网络的结果保留时间顺序来组成一个矩阵，并输入到长短期记忆神经网络层。预测结果通过几个长短期记忆神经网络层输出。

本文提出的这种预测模型可以应用于脑电信号的分类和预测，同时它可以提供良好的结果。首先，与一种基于特定公式或算法从时间频率通道格式的大规模脑电波数据中提取特征的方法不同，本文提出的方法具有能够从三维卷积神经网络的学习过程中学习特征以产生理想的最终结果的优点。简而言之，可以通过三维卷积神经网络特征学习来学习适合于从脑电波数据传递到结果的特征。另外，由于长短期记忆神经网络被用作分类/预测端，因此其优点在于它可以充分反映根据时间的脑电波信号的变化特性。

3 实验结果和分析

如第2章已经提到的，在电脑上以128Hz下采样的脑电波数据由32个通道中的512个样本值组成。通过短时间傅里叶变换将该脑电波数据转换成在32个通道、49个时间样本和50个频带样本中以三维形式表示的功率谱密度。该功率谱密度是预测模型的输入数据。总脑电波数据中的80%用于学习数据，20%用于检查数据。

为了评估所提出的预测模型的性能，本研究比较了所提出的预测模型与三维卷积神经网络预测模型和长短期记忆神经网络预测模型。针对两种情况进行了性能评估：消费者依赖预测模型和消费者独立预测模型。

本研究在Intel 2.5GHz Core i7处理器和内存8GHz计算机上使用深度学习专用包tensorflow开发了一个Python程序。性能评估的准确度（Accuracy， Acc）计算如下：

当消费者对产品的偏好表示为“喜欢”和“不喜欢”时，TP（True Positive）、FP（False Positive）、TN（True Negative）、FN（False Negative请补充TP、TN、FP、FN的英文全称）分别表示将“喜欢”样本预测为“喜欢”样本的次数，将“不喜欢”样本预测为“喜欢”样本的次数、将“喜欢”样本预测为“不喜欢”样本的次数、将“不喜欢”样本预测为“不喜欢”样本的次数。

3.1 预测模型的结构和参数确定以及对比模型

进行实验以确定图6所示预测模型的结构和参数，为此提出了4种候选模型，4种候选模型的结构和参数如表1所示。其中特征学习端（第二列）的参数说明为：卷积层（高度×宽度×深度输出数量）;面膜层（高度×宽度））;（池化层（高度×宽度×深度）;LSTM层（长短期记忆单元数量）。

为了评估3D CNN-LSTM预测模型的有效性，本研究将其与3D CNN和LSTM的单独预测模型进行了比较。3D CNN预测模型如3D CNN-LSTM，由两个卷积层、一个面膜层和两个池化层组成，最后层连接全连接层输出预测结果和全连接输出层组成此句不太通顺。对于LSTM预测模型，输入数据随着时间轴被转换为二维格式，并且两个LSTM层的单元数分别被设置为100、20，并且层之间的压差系数被设置为0.6。

3.2 消费者依赖模型的性能对比

该实验通过训练和测试每个消费者的预测模型来进行，因此，所学习的预测模型就是消费者依赖预测模型。首先，当产品类型设置为1、3、5和6时，为每个消费者训练和测试本文提出的3D CNN-LSTM模型。这些结果如图8所示。从图8中可见，消费者在实验中的偏好预测结果通常显示出超过80%的准确度。尤其是第3、第4和第17消费者的平均预测准确度超过85%;而第5、第14和第15消费者的平均预测准确度在75%至80%。消费者之间准确度的差异是由于消费者对产品偏好对的情绪状态不同此句不太通顺，因此脑电波信号的激活状态彼此不同。由于消费者们对产品的情绪状态互相不同，所以消费者们的大脑激活状态也互相不同，因此存在消费者们之间的准确度差异。

除了第15和第17消费者以外，每个消费者对产品类型数量的预测准确度没有显示出很明显的差异。由此可以看出，预测消费者产品偏好的准确度不会受到产品类型数量的影响。

接下来，使用3个预测模型来训练每个消费者对于所有产品类型的预测模型并测试。该实验的结果如图9所示。

3D CNN-LSTM模型、3D CNN模型和LSTM神经网络模型的平均预测准确度分别为82.36%，67.31%和62.92%。本文所提出的3D CNN-LSTM模型的平均预测准确度分别比3D CNN模型和LSTM神经网络模型提高15.05个百分点和19.44个百分点。3D CNN模型的预测准确度比LSTM神经网络模型提高4.39个百分点。3D CNN预测模型通过特征学习充分反映了时空特征，但准确度较低的原因是在全连接层中没有考虑特征矩阵的时间顺序。在LSTM神经网络预测模型的情况下，由于仅将连接矩阵连接到输入层和输出层而不能通过时空特征来进行模型學习，因此，尽管反映了输入数据的整体时间特性，但未反映空间特性。这就是LSTM预测模型的性能较低的原因。然而，3D CNN-LSTM预测模型获得了良好的结果是因为特征矩阵是通过CNN特征提取阶段中的时空特征学习来计算的，并且预测结果是在反映特征矩阵的时间顺序的LSTM分类阶段中进行的。

3.3 消费者独立模型性能对比

在之前的实验中，进行消费者依赖预测模型的性能评估。在该实验中，重点在于构建可应用于所有消费者的预测模型，而不考虑每个消费者的特性。表2显示了消费者独立预测模型的产品类型性能对比。

因为消费者的大脑活动进展不同，消费者独立模型的预测结果比消费者依赖模型大约低10个百分点。每种产品准确度的差异与消费者对产品的不同响应状态有关。与之前的实验结果相似，使用3D CNN和LSTM的预测模型分别与3D CNN-LSTM预测模型的准确度大约低16.34个百分点和17.88个百分点。3D CNN-LSTM的消费者独立预测模型平均准确度为71.33%，其中最高73.24%是鞋子产品的，最低69.36%是包箱包产品的。

为了测试所提出模型的可扩展性，本研究分析了消费者人数对预测模型的预测准确性的影响，为此，通过将消费者人数改变为5、10、15和20来评估预测模型的预测准确度。这些结果显示在表3中，可见所提出的模型仍然优于3D CNN和LSTM神经网络模型;而且，随着消费者人数的增加，所提出模型的预测准确度几乎保持稳定。

4 结语

本文提出了一种利用深度学习神经网络预测模型从消费者脑电波信号预测消费者产品偏好的新方法，并对该方法进行了评估实验。

首先，本研究使用短时间傅里叶变换和双调和样条插值从多通道脑电波信号得到五个频带功率谱密度的脑电地形图视频;其次，本研究提出结合特征学习端和分类预测端的消费者偏好预测模型，该模型中，特征学习端由5个三维卷积神经网络的并联连接组成，而且分类预测段由2个长短期记忆神经网络的串联连接组成;最后，在选取20名消费者（13名男性和7名女性）参与实验并对预测模型进行性能评估模型的训练和测试后，结果显示，与卷积神经网络模型和长短期记忆神经网络模型相比，消费者依赖模型的平均准确度分别提高了15.05个百分点和19.44个百分点，消费者独立模型的平均准确度分别提高了16.34个百分点和17.88个百分点。综上，本文提出的预测模型的理论特性与实验结果，为消费者偏好预测系统低成本且高效服务于企业营销策略研发与营销管理提供了参考。

參考文献 （References）

[1] SOLEYMANI M， CHANEL G， KIERKELS J J， et al. Affective ranking of movie scenes using physiological signals and content analysis[C]// Proceedings of the 2nd ACM Workshop on Multimedia Semantics. New York： ACM， 2008：32-39.

[2] TELPAZ A， WEBB R， LEVY D J. Using EEG to predict consumers future choices[J]. Journal of Marketing Research， 2015， 52（4）： 511-529.

[3] AMBLER T， BRAEUTIGAM S， STINS J， et al. Salience and choice： neural correlates of shopping decisions[J]. Psychology and Marketing， 2004， 21（4）： 247-261.

[4] BALDO D， PARIKH H， PIU Y， et al. Brain waves predict success of new fashion products： a practical application for the footwear retailing industry[J]. Journal of Creating Value， 2015， 1（1）： 61-71.

[5] KHUSHABA R N， GREENACRE L， KODAGODA S， et al. Choice modeling and the brain： a study on the electroencephalogram （EEG） of preferences[J]. Expert Systems with Applications， 2012， 39（16）： 12378-12388.

[6] MURUGAPPAN M. Wireless EEG signals based neuromarketing system using fast Fourier transform （FFT）[C]// CSPA 2014： Proceedings of the 10th International Colloquium on Signal Processing and Its Applications. Piscataway， NJ： IEEE， 2014：25-30.

[7] BOKSEM M A， SMIDTS A. Brain responses to movie trailers predict individual preferences for movies and their population-wide commercial success[J]. Journal of Marketing Research， 2015， 52（4）： 482-492.

[8] KAWASAKI M， YAMAGUCHI Y. Effects of subjective preference of colors on attention-related occipital theta oscillations[J]. Neuroimage， 2012， 59（1）： 808-814.

[9] FAUST O， HAGIWARA Y， HONG T J， et al. Deep learning for healthcare applications based on physiological signals： A review[J]. Computer Methods and Programs in Biomedicine， 2018， 161： 1-13.

[10] SHU L， XIE J Y， YANG M Y， et al. A review of emotion recognition using physiological signals[J]. Sensors， 2018， 18（7）： 2074.

[11] LIANG J W， CHAUDHURI S R， SHINOZUKA M. Simulation of nonstationary stochastic processes by spectral representation[J]. Journal of Engineering Mechanics， 2007， 133（6）： 616-627.

[12] HUANG G Q， SU Y W， KAREEM A， et al. Time-frequency analysis of nonstationary process based on multivariate empirical mode decomposition[J]. Journal of Engineering Mechanics， 2016， 142（1）： 04015065.

[13] Mathworks Inc. Griddata function description[EB/OL]. [2018-11-20]. https：//ww2.mathworks.cn/help/matlab/ref/griddata.html.

[14] TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks[C]// ICCV 2015： Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 4489-4497.

[15] 孔祥浩，马琳，李海峰，等.CNN与CSP相结合的脑电特征提取与识别方法研究[J].信号处理，2018，34（2）：164-173.（KONG X H， MA L， LI H F， et al. Research on EEG feature extraction and recognition method based on CNN and CSP[J]. Journal of Signal Processing， 2018， 34（2）： 164-173.）

[16] 谢逸，饶文碧，段鹏飞，等.基于CNN和LSTM混合模型的中文词性标注[J].武汉大学学报（理学版），2017，63（3）：246-250.（XIE Y， RAO W B， DUAN P F， et al. A Chinese POS tagging approach using CNN and LSTM-based hybrid model[J]. Wuhan University Journal of Natural Sciences， 2017， 63（3）： 246-250.）

[17] GREFF K， SRIVASTAVA R K， KOUTNíK J， et al. LSTM： a search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems， 2015， 28（10）： 2222-2232.

[18] GERS F A， ECK D， SCHMIDHUBER J. Applying LSTM to time series predictable through time-window approaches[C]// ICANN 2001： Proceedings of the 10th International Conference on Artificial Neural Networks. Berlin： Springer， 2001： 21-25.