陈泽龙，张少涵，张振昌，林少炜，陈自谦*

（1.联勤保障部队第900医院医学影像中心，福州 350025；2.福建农林大学，福州 350002；3.福建医科大学，福州 350122）

0 引言

随着现代社会的发展，一些行业的从业人员需要长时间、不间断地工作，如驾驶、机械操作、军事、航空、医务和一些公共服务部门，而长时间、不间断地从事某项工作容易导致人的精神疲劳。精神疲劳指人体肌肉工作强度不大，但由于神经系统紧张程度过高或者长时间从事单调、重复的工作而引起的疲劳。精神疲劳与人体中枢神经活动有关，受大脑皮层活动状态的影响，而脑电信号主要来源于大脑皮层神经元之间的突触后电位。有研究表明脑电信号的复杂程度与人的精神疲劳直接相关[1-2]，精神疲劳程度越高，用多尺度熵值反映的脑电信号复杂程度越低。因此，脑电信号可用于检测人体的精神疲劳状态。

目前，采用脑电图研究人体精神疲劳十分广泛。如周佳苹等[3]提出了基于可穿戴式脑电仪的疲劳识别健康管理方案，发现α波、β波、θ波在疲劳和不疲劳状态下的表现均有显著差异，这些脑电信号变量可呈现人体疲劳状态的差异，帮助识别疲劳状态。李杨[4]提出用MindWave脑电信号采集设备作为脑电信号数据采集器，使用Android平台App对相关数据进行加工与计算，设计并实现了一套能够收集脑电信号数据并进行特征提取与分类识别的系统。刘苗苗等[5]采用脑电图研究人处于驾驶疲劳状态时的脑电信号多尺度熵值的变化，提出利用多尺度熵值作为检测驾驶疲劳的一个指标。

但是，在利用脑电信号研究人体精神疲劳的过程中也遇到了一些问题，主要包括精神疲劳分类标准、脑电信号分类算法的准确度以及精神疲劳检测系统有效的集成和实现。针对上述问题，本课题组对脑电信号分析、人的精神疲劳状态识别及按照标准将人的精神疲劳程度进行适当量化开展了相关研究，并开发了基于Android平台的精神疲劳检测系统，实现了精神疲劳状态的实时检测。

1 设计原则

根据精神疲劳检测的方法和流程，基于Android平台的精神疲劳检测系统的设计应遵循以下几个原则：

（1）准确性原则。基于Android平台的精神疲劳检测系统用于检测人体精神疲劳状态，检测结果用于指导实际工作，故要求具有较高的准确性。系统利用脑电信号多尺度熵结合长短期记忆（long-short term memory，LSTM）人工神经网络模型[6]进行精神疲劳程度的评估，利用测试数据进行测试并调节参数。

（2）易用性原则。系统在移动端具有友好、简便的人机交互界面和流畅性，且操作简单，实用性、易用性强。

（3）便携性原则。由于各个行业从业人员所处工作环境不同，通常需要在工作场所实时检测，这就要求精神疲劳检测系统便于携带、操作方便。基于Android平台的精神疲劳检测系统采用MindWave脑电信号采集设备，体积小、质量轻，无需佩戴复杂的电极帽，且与移动端Pad配套，携带方便，适合不同场景下精神疲劳的检测与监测。

2 系统设计

2.1 系统框架设计

基于Android平台的精神疲劳检测系统主要包含移动端（采集脑电信号、接收脑电信号数据）和服务器端（分析处理脑电信号）2个部分，如图1所示。其中脑电信号采集设备采用美国Neurosky公司生产的MindWave系列便携式脑电信号采集设备，其供应商提供了完整的Android平台软件开发包，课题组据此开发了具有脑电信号数据接收、存储和波形显示等功能的单通道脑波管理系统App，可安装于移动端Pad等搭载Android平台的设备。虽然移动端Pad具有便携的特点，但其计算能力弱，故本系统将大量脑电数据传送到远程服务器端，使基于脑电数据的精神疲劳分析在服务器端完成，仅将结果返回到移动端Pad显示。服务器端主要实现脑电信号的分析和处理，包含接收脑电信号数据、存储数据、选取脑电信号时间序列数据段并计算多尺度熵值[7]、通过LSTM人工神经网络模型分析计算得出人精神疲劳状态结果并将结果返回移动端Pad。用户只需拥有一台Pad和MindWave脑电采集设备即可实现精神疲劳的实时检测。

2.2 功能设计

基于Android平台的精神疲劳检测系统的功能设计如图2所示。

图2 基于Android平台的精神疲劳检测系统功能设计图

用户在移动端不仅可以实现脑电信号的采集和查看、接收疲劳检测报告以及参与疲劳量表调查等功能，还可以通过登录远程服务器查看历史脑电信号数据和历史疲劳程度检测报告；系统管理员可在服务器端管理用户信息，搜集用户疲劳数据用以改进LSTM人工神经网络模型。

2.3 开发工具

目前，Android平台有着广泛的应用市场，且具有可开发性，所以本系统采用Android平台进行开发[8]。其中移动端采用Android Studio作为开发工具，通过Java[9]编程语言进行设计；服务器端采用Eclipse开发工具，在Tomcat[10]运行环境下进行设计。

2.4 关键算法

本系统的核心是服务器端自主设计的AI模型算法，具体包括：

（1）脑电信号预处理。设原始脑电信号为F=X+N，其中F是脑电信号采集设备采集到的信号，X是需要提取的原始脑电信号，N是噪声。其中一维脑电信号X=（x1，x2，…，xt），xt表示第t时刻测得脑电信号的原始电压值。由于原始脑电信号和噪声信号特点不同，需要对设备采集的脑电信号F进行小波阈值去噪，即对信号F进行小波变换，得到一组小波分解系数，然后对小波分解系数进行阈值处理得到估计的小波系数，最后利用估计的小波系数进行小波重构得到估计信号，即为去噪后信号。

（2）计算去噪后脑电信号的多尺度熵值。

（3）将的具体数值输入LSTM人工神经网络模型进行运算，LSTM人工神经网络模型的运算结果与脑电信号多尺度熵值共同评估精神疲劳等级。

3 功能实现

3.1 移动端功能实现

脑电信号采集设备将采集到的脑电信号通过蓝牙传送到Pad，Pad安装单通道脑波管理系统App。该软件不仅可以设置用户登录账户及密码，在接收、存储脑电信号数据的同时以波形的方式展示脑电信号数据，还可以展示冥想度、专注度曲线和从原始脑电信号数据中提取出来的α波、β波和θ波。脑电信号数据采集完成后，单通道脑波管理系统App通过无线网络自动将数据传送到远程服务器并进行解析，App接收解析结果并反馈给用户。用户可以通过App查阅、下载远程服务器上的历史脑电信号数据和历史检测结果。同时，单通道脑波管理系统App还可以设置疲劳量表输入功能，其用户可参与疲劳量表的填写。

单通道脑波管理系统App登录界面如图3所示，首次使用该软件的用户必须先注册，注册后可通过用户名和密码登录并使用。精神疲劳检测系统检测时App的显示界面如图4所示，展示了脑电信号波形图，专注度、冥想度曲线图，以及从原始脑电信号数据提取出来的α波、β波和θ波波形图。脑电信号数据可通过无线网络、蓝牙等方式传输、共享，如图5所示。原始脑电信号的.csv格式数据表如图6所示。

图3 单通道脑波管理系统App登录界面

图4 精神疲劳检测系统检测时App的显示界面

图5 脑电信号传输及共享界面

3.2 服务器端功能实现

3.2.1 服务器端主要功能

服务器端主要功能分为接收、存储移动端数据，LSTM人工神经网络模型解析脑电信号，LSTM人工神经网络模型改进三部分。具体如下：

（1）接收、存储移动端数据。服务器处于实时在线状态，可随时接收移动端传送的脑电信号原始数据和疲劳量表数据并进行存储。

（2）LSTM人工神经网络模型解析脑电信号。对脑电信号原始数据做预处理，经LSTM人工神经网络结合多尺度熵算法模型进行解析，得到用户当前精神疲劳状态并发送至移动端。

（3）LSTM人工神经网络模型改进。服务器针对每个用户建立一个数据表，用来存储用户的疲劳量表调查数据。用户的疲劳量表调查数据和脑电信号原始数据可用于改进LSTM人工神经网络模型。

图6 原始脑电信号的.csv格式数据表

3.2.2 服务器端脑电信号数据后台管理系统

为实现上述功能，在服务器端设计了脑电信号数据后台管理系统，包含精神疲劳检测系统数据查询平台和精神疲劳检测管理系统两大部分。

（1）精神疲劳检测系统数据查询平台。用户在移动端Pad通过账号密码登录，可查询移动App上传的数据、历史脑电信号数据，得到精神疲劳程度历史报告。

（2）精神疲劳检测管理系统。系统管理人员通过账号密码登录，可对用户信息进行管理（如增加、删除等操作），还可对精神疲劳检测系统模型进行改进。

脑电信号数据后台管理系统采用Tomcat服务器，通过Java编程语言进行设计。脑电信号数据后台管理系统和单通道脑波管理系统App直接通过超文本传输协议（hyper text transfer protocol，HTTP）请求访问服务器，服务器获取App的URL请求后，由相应的模块处理并将结果返回App[11]。脑电信号数据后台管理系统登录界面如图7所示，其首页如图8所示，管理界面如图9所示，数据管理界面如图10所示。服务器接收脑电信号数据后存储数据并调用LSTM神经网络模型解析数据，将结果返回移动端并存储到脑电信号测试记录表中。

图7 脑电信号数据后台管理系统登录界面

4 系统特点及应用展望

基于Android平台的精神疲劳检测系统移动端App和服务器端脑电信号数据后台管理系统均为自主开发，其核心是服务器端自主设计的AI算法模块。AI算法模块采用LSTM人工神经网络模型，通过采集大量脑电信号数据来训练LSTM人工神经网络模型，结合脑电信号多尺度熵值，以提高算法的准确度。移动端App通过HTTP中的multipart/form-data上传脑电信号文件，使用RESTful API接口向服务器请求模型运算结果以保证脑电数据实时传输。服务器可在1 min内将结果返回至移动端，保证了检测窗口期，且检测结果实时有效。

图8 脑电信号数据后台管理系统首页

图9 脑电信号数据后台管理系统管理界面

图10 脑电信号数据后台管理系统数据管理界面

在未来，精神疲劳检测将会成为许多工作岗位上的常规性检测工作。而基于Android平台的精神疲劳检测系统的应用能够快速、便捷地给出具体的精神疲劳程度等级，实现对精神疲劳的量化。且本系统能够储存用户数据，不断完善LSTM人工神经网络模型，使深度学习不断增强，从而使量化结果越来越准确。系统整体硬件设备搭载软件App小型、便携，能够简便、快速、实时地对用户精神疲劳状态进行检测，可对一些行业从业人员上岗前做强制检测、作业过程中进行疲劳监测，从而减少人为事故的发生。

5 结语

随着移动智能设备在社会中的普及，精神疲劳检测系统的应用范围将会越来越广。本文提出的基于Android平台的精神疲劳检测系统实现了脑电信号数据实时采集、分析等功能，不仅可以对用户的精神疲劳程度做出量化，明确被测对象当前是否处于疲劳状态以及其对应的疲劳程度，还可以对一些行业的从业人员进行疲劳状态监测，防止疲劳作业引发安全事故。

但本研究尚存在一些不足，如Neurosky公司生产的MindWave系列单通道脑电信号采集设备使用干电极采集脑电信号数据，受外界干扰因素影响比较大，所采集的脑电信号数据需进行去噪处理，且MindWave设备佩戴时会对头皮表面形成一定程度的压迫，可能影响脑电信号的采集，从而影响检测准确度；LSTM人工神经网络模型的泛化能力较弱，需针对特定行业脑电数据进行模型训练。基于Android平台的精神疲劳检测系统下一步将结合多种检测方式方法（如眼电、心电和肌电等）改进脑电信号检测设备，提高检测精度；进一步提高LSTM人工神经网络模型的泛化能力，从而完善系统的适用性和准确性。