王 湃，吕元杰，汪 梅

（西安科技大学 电气与控制工程学院，陕西 西安 710054）

一种基于智能手机与脑-机接口 技术的环境控制系统

王 湃，吕元杰，汪 梅

（西安科技大学 电气与控制工程学院，陕西 西安 710054）

为帮助重症患者实现与外部环境交流，基于稳态视觉诱发电位原理，将脑-机接口与智能手机相结合，开发一种利用脑电波进行环境控制的智能系统。本系统采用稳态视觉诱发电位技术设计脑-机接口，采用Android系统的智能手机作为控制终端，以FFT算法提取脑电波信号的频率特征，用于目标识别。采用蓝牙技术实现控制终端与被控对象之间无线通信。本系统可以实现：拨打电话、家电控制等功能。针对不同的系统功能进行3组试验，结果表明：本系统的识别准确率最高可达100%，最差准确率达：72.4%.与传统的BCI系统相比，本系统具有可穿戴、移动性好、识别率高等特点。

脑机-接口；稳态视觉诱发电位；智能手机；蓝牙

0 引 言

临床上存在许多病症会破坏神经肌肉传导，使大脑不能支配语言或肢体与外界环境进行互动联系。这一类的病症包括大脑或脊髓受伤、肌萎缩性侧索硬化症、脑性麻痹、脑干中风、肌肉失养症、多发性硬化症等。这些丧失自主肌肉控制的病人，仅能够活动眼睛与呼吸，丧失了与外界环境进行沟通的能力。保守估计，我国目前至少应有10万名运动神经元疾病患者[1]。如何改善这些重症病患的生活状态，设计基于无线传感器网络的监护系统[2-4]，使他们能够得到照顾，实现与外界沟通，是急需解决的科学难题。

脑-机接口技术（Brain-computer interface，BCI）作为一种实现大脑和外部设备（计算机或外界环境等）之间的信息直接通信技术[5]。近年来得到了突飞猛进的发展，已经在生物医学[6]、虚拟现实[7]、游戏娱乐[8]、康复工程[9]等领域体现出重要的价值。目前大多BCI系统均是以PC机结合医用脑波测试仪进行开发[10-11]，系统设计复杂、造价昂贵。如何简化BCI系统设计，降低开发成本，提高BCI系统的实用性，是一项具有挑战性的研究课题。

文中开发了一种采用Android系统的智能手机作为控制终端，通过脑波信号进行环境控制的智能控制系统。采用（Fast Fourier Transform，FFT）算法[12]获得EEG信号的频谱，并提取其频率特征用于指令分类。与传统的BCI系统不同，本系统对脑电波采集系统进行嵌入式开发，使得整套系统具有可穿戴性。针对系统所实现的不同功能，进行了3组不同的实验。结果表明，本系统具有较高的识别率，及广阔的应用前景。

1 稳态视觉诱发电位

当被试者被施加某种频率的视觉刺激时，会在枕叶区的脑电信号中产生出连续的与刺激频率相对应的视觉诱发电位，称为稳态视觉诱发电位（steady state visual evoked potential，SSVEP）[13]。视觉诱发电位为具有周期性的短暂延迟信号，其中包含刺激频率及其谐波成分。

通过分析发现，在稳态视觉诱发电位的频谱中，可以在刺激频率的基频或倍频处发现较明显的峰值。当被试者面对2个或多个不同频率的视觉刺激时，处于被试者视野中心或者注意力中心的刺激频率会出现比其它刺激频率更大的频谱峰值或空间分布变化。相对其他的脑电信号（例如运动想象自发电位），只需被试者进行少量的适应性训练，即可获取信噪比较高的、稳定的脑电波识别信号。因此，稳态视觉诱发电位被广泛地应用于BCI系统中。

2 基于智能手机与稳态视觉诱发电位的环境控制系统

图1 系统总体结构图Fig.1 Overall structure of the system

本系统的总体结构如图1所示，整个系统由视觉刺激器、电极帽、EEG信号采集单元、EEG信号处理单元、指令转换单元、及被控对象组成。电极帽、EEG信号采集单元构成了EEG信号的采集系统，用于被试者EEG信号的采集。由于本系统的控制终端是智能手机，所以处理单元基于Android平台开发，负责EEG信号的特征提取与分类。本系统的控制对象包括：风扇、台灯、智能手机，其中对风扇、台灯的控制实现病患对所处环境的温度、亮度、调节；对智能手机的控制可以实现电话拨打、紧急呼叫、短信发送等功能，实现病患与医护人员的沟通。

2.1 视觉刺激器

视觉刺激器是提供视觉刺激的外部装置，同时也是脑-机接口系统的人机界面。刺激器需要产生有效的视觉刺激，以便检测出可靠的视觉诱发电位，并能明确地表示出选择信息，用于区别被试者可能做出的不同选择。传统的视觉刺激器可分为2类，二极管闪烁刺激和显示器图形闪烁刺激。通常用多个刺激模块来对应试验者不同的选择或者控制信息，要求刺激器有稳定的频率以便采集到稳定的脑电信号。目前，大多BCI系统的视觉刺激器以LED或PC机构成[14]；但是这种视觉刺激器，往往尺寸较大，可移动性较差，不利于BCI系统的实际应用。

针对上述问题，本系统选择了基于Android系统的大屏手机来替代视觉刺激器及PC机。本系统的刺激器是采用JAVA语言进行开发[15]。利用JAVA语言中消息机制的延迟推送特性，在程序中延迟更改布尔函数的值，实现不同图片的显示，从而完成不同频率刺激块闪烁的任务。

2.2 电极帽

图2 电极分布Fig.2 Electrode distribution

本系统采用自制的电极帽，其电极采用Ag/Ag合金制成。电极分布如图2所示，电极1用来采集枕叶区的脑波电位；电极2作为参考电极，用来采集顶叶区的自发脑波电位。要得到纯净的视觉诱发电位，必须对自发式脑电波进行滤除。大量诱发电位在大脑的枕叶区检测到，额叶区较少，所以把额叶区作为参考电位点，可以有效的滤除自发式脑电波。电极3作为脑波地线连接在人体的耳部，用于屏蔽人体头部以下电波所产生的噪声。例如心电就是一种比较强的干扰噪声，脑波地的连接可以有效的滤除心电。

图3 EEG采集电路Fig.3 EEG acquisition circuit

2.3 基于EEG信号采集单元

本系统的EEG采集电路以NeuroSky芯片为核心，进行嵌入式系统开发。如图3（a）所示，NeuroSky芯片的工作电压为3.3 V，采样率512 Hz，传输波特率57 600.该芯片可提供2种信号：①原始脑波信号；②经过处理的脑波信号。EEG采集电路如图3（c）所示，EEG端通过电极帽的1号电极连接到被试者的枕叶区。EEG_shiled端用于屏蔽诱发式EEG信号在采集时受到的干扰噪声；REF端是通过电极帽的2号电极连接到被试者的顶叶区，用于对自发式EEG信号进行滤除；REF_shiled端用于屏蔽EEG参考信号采集时受到的干扰噪声；EEG信号地线连接在位于人体的耳部电极3，用于屏蔽人体头部以下电波产生的噪声。蓝牙芯片HL-MD08R-C2A如图3（b）所示，用于EEG信号的无线传输。采样后的EEG信号，经过NeuroSky芯片的TXD端传给蓝牙芯片的RX端，将诱发式EEG信号发送给EEG信号处理单元（智能手机），对脑波数据进行处理分析。

2.4 EEG信号处理单元

本系统的EEG信号处理软件，主要实现3部分功能。首先，通过智能手机的蓝牙接口，接收EEG信号采集单元传输的EEG数据；然后，通过FFT得到EEG数据的频谱，并基于频谱对脑波信号进行特征提取与分类；最后，将不同的操作指令，通过智能手机的蓝牙接口传输到不同的控制对象。

目前EEG信号处理方法主要有：利用独立向量分析、傅立叶变换、小波分析等方法[16-17]。FFT是离散傅立叶便变换的改进。设N（N=2M，M为正整数）点信号序列X（n）的离散傅立叶变换为X则有

（1）

（2）

n=0,1,…,N-1；k=0,1,…,N-1将x（n）（N=0,1,…,N-1）按n的奇偶分成以下2组

（3）

将（3）式代入（1）并利用周期性和对称性化简得到

（4）

（5）

这样N点序列X（k）就变为2个N/2点序列x1（r）和x2（r）离散傅立叶变换的组合。其中X1（k）

本系统应用FFT将时域内一秒的EEG信号，通过512 Hz的采样频率得到512个离散的幅值，实验结果如图4所示。经过大量实验采用4，7，9，11，13 Hz，作为特征值对系统的不同指令进行分类。

图4 EEG信号与FFT结果（0～255 Hz）Fig.4 EEG signal and FFT results

图5 电话拨打系统部分功能实现流程Fig.5 Partial function implementation process of telephone dialing system

2.5 控制对象

本系统的控制对象有3个：智能手机、台灯、电扇，构成环境控制系统的3个子系统。其中电话拨打系统功能由EEG信号控制下的智能手机完成。电话拨打系统部分功能的实现流程图如图5所示。在Android系统的开发中，采用单频率多功能的开发思想。即每个界面的闪烁诱发块代表多个不同功能，通过多次选择最终实现某一功能的操作。

图6 电话拨打功能APP界面Fig.6 APP interface of phone dialing

如图6所示，若系统程序当前在电话拨打界面中，分别有4个不同频率的诱发块，它们分别代表数字1，2，3；4，5，6；7，8，9和0，返回。当处于左边界面时，如果系统接收到4 Hz频率的信号则进入右边界面；右边界面中同样有4个不同频率的诱发块，分别代表1，2，3，返回。在右边的界面中如果再接收到相应频率的信号，则会选择出相应数字，判定为用户所需。

本系统采用单片机与继电器控制台灯与风扇。单片机采用中断模式接收由智能手机通过蓝牙传输的控制信号。主程序对接收到的信号进行判断，根据信号所定义的控制动作控制I/O接口，实现对风扇和台灯的控制，控制流程如图7所示。

图7 电灯与风扇的控制流程Fig.7 Lamp and electric fan control flow

3 实验与分析

在本系统性能分析的实验中，以准确率、耗时、作为系统性能的评估参数。本试验的被试选择5名年龄在22～24身体健康的研究生，3男2女。每一个人均对本系统的电灯控制功能、风扇控制功能、电话短信功能测试3次，每次测试完毕休息1 h.

表1 台灯控制功能实验结果

台灯控制功能测试结果见表1，5个人的准确率均达到100%，平均时间最好的达到19.66 s，最差30.66 s.

表2 风扇控制功能实验结果

风扇控制功能测试结果见表2，5个人的准确率有2人达到100%，准确率最差达到85.7%平均时间最好的达到68.36 s，最差103.3 s.

表3 电话短信功能测试结果

电话控制功能测试所的结果见表3，5个人的最高准确率为80.7%准确率最差达到72.4%，平均时间最好的达到171.66 s，最差208.33 s.

综上3个实验可以看出：被试者对本系统控制电灯的功能完成的最好，准确率均达到100%；对于电话发送短信功能完成的最差，最高准确率80.7%，最差准确率72.4%.这是因为完成控制电灯功能，最少只需进入2次界面，完成短信发送功能最少需要进入7次界面，随着识别目标的增多，正确率有所下降。另外，随实验时间的增加，被试者出现视觉疲劳也是正确率下降的原因。所以在上述3个实验中，实现功能越复杂、正确率越低、耗时越长。

4 结 论

文中基于智能手机与稳态视觉诱发技术，开发一种环境控制系统。本系统以稳态视觉诱发电位技术设计脑-机接口，实现以脑电波信号控制台灯、风扇、电话拨打系统等功能。实验结果证明了本系统具有较高的准确率。由于本系统的硬件采用嵌入式设计，实现整套系统的可穿戴性，使得本系统具有广阔的应用前景。

References

[1] 吴 琪，黄林欢，姚晓黎，等.肌萎缩侧索硬化患者轻度认知功能损害[J].中华神经科，2011，44（6）：400-404.

WU Qi，HUANG Lin-huan，YAO Xiao-li，et al.A clinical study on mild cognitive impairment in amyotrophic lateral sclerosis[J].China Journal of Neurol，2011，44（6）：400-404.

[2] 王 平，秦 威.基于蓝牙无线传感网络的病人身体状态实时监护系统设计[J].西安科技大学学报，2015，35（1）：128-131.

WANG Ping，QIN Wei.Real time monitoring system for patients based on bluetooth wireless sensor network[J].Journal of Xi’an University of Science and Technology 2015，35（1）：128-131.

[3] 李明明.用于环境监测领域无线传感器网络中的数据压缩编码算法[J].西安科技大学学报，2011，31（5）：617-621.

LI Ming-ming.A data compression algorithm for environmentmonitoring wireless sensor network[J].Journal of Xi’an University of Science and Technology，2011，31（5）：617-620.

[4] 李白萍，侯媛彬，王 爽，等.用于危险环境监控的无线传感器网格体系结构[J].西安科技大学学报，2011，31（2）：223-226.

LI Bai-ping，HOU Yuan-bin，WANG Shuang，et al.A wireless sensor grid architecture suitable for dangerous environment monitoring[J].Journal of Xi’an University of Science and Technology，2011，31（2）：223-226.

[5] Regan D．Human brain electrophysiology：evoked potentials and evoked magnetic fields in science and medicine[M].New York：Elsevier Science Publishing，1989．

[6] Aughan T M，Heetderks W J，Trejo L J．Brain-computer interface technology：A review of the second international meeting[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering，2003，11（2）：94-96．

[7] Bayliss J D，Ballard D H．A virtual reality testbed for brain-computer interface research[J].IEEE Transactions on Rehabilitation Engineering，2000，8（2）：188-190．

[8] Schalk G，McFarland D J，Hinterberger T，et al．BCl 2000：a general-purpose brain computer interface（BCI）system[J].IEEE Trans Biomed Eng，2004：51（6）：1 034-1 043.

[9] 周 鹏，曹红宝，熊 屹，等.基于脑机接口的智能康复系统的设计[J].计算机工程与应用，2007，43（26）:1-4.

ZHOU Peng，CAO Hong-Bao，XIONG Yi，et al.Design of intelligent rehabilitation system based on brain-computer interface[J].Computer Engineering and Applications，2007，43（26）：1-4.

[10] 吴 边，苏 煜，张剑慧，等.基于P300电位的新型BCI中文输入虚拟键盘系统[J].电子学报，2009，37（8）：1 733-1 738.

WU Bian，SU Yu，ZHANG Jian-hui，et al.A virtual Chinese keyboard BCI system based on P300 potentials[J].Acta Electronic Sinica，2009，37（8）：1 733-1 738.

[11] 许敏鹏，张力新，明 东，等.基于SSVEP 阻断与P300特征的混合范式脑-机接口[J].电子学报，2013，41（11）：2 247-2 251.

XU Min-peng，ZHANG Li-xin，MING Dong，et al.A hybrid BCI based on the combination of SSVEP blocking and P300 features[J].Acta Electronic Sinica，2013，41（11）：2 247-2 251.

[12] 王新洲，林明华，花向红，等.基于快速傅立叶变换的打桩锤击信息的识别[J].武汉大学学报：信息科学版，2008，33（7）：16-19.

WANG Xin-Zhou，LIN Ming-Hua，HUA Xiang-Hong，et al.Identification information of piling hammer based on the fast fourier transform[J].Geomatics and Information Science of Wuhan University，2008，33（7）：16-19.

[13] 宾光宇，张雅静，高小榕.相位同步方法用于稳态视觉诱发电位的测量[J].清华大学学报，2008，48（9）：1 507-1 510.

BIN Guang-yu．ZHANG Ya-jing，GAO Xiao-rong.Steady state visual evoked potential measurement using a phase-locking method[J].Journal of Tsinghua University Science and Technology，2008，48（9）：1 507-1 510.

An environmental control system based on smart mobile phone and brain computer interface technology

WANG Pai，LV Yuan-jie，WANG Mei

（CollegeofElectricalandControlEngineering,Xi’anUniversityofScienceandTechnology,Xi’an710054,China）

To help critically ill patients communicate with outside environment，we combine the brain-computer interface with smart phone based on the theory of steady state visual evoked potential（SSVEP）to develop an intelligent system which controls the environment by using the electroencephalograph（EEG）.This system uses the steady-state visual evoked potential technology to design a brain computer interface，and takes the intelligent android mobile phone as the control terminal.It applies FFT algorithm to extract the frequency characteristic of EEG signals for target recognition，and realizes wireless communication between the control terminal and controlled object by using Bluetooth technology.By using the intelligent system，patients may make a telephone call and control household appliances and so on.We design three groups of test according to the different function of the system The experimental results show that the system has the highest accuracy of 100% in recognition，and the lowest accuracy of 72.4%.Compared with the traditional BCI system，this system has the characteristics of wearable，mobile，and higher recognition rate.

brain computer interface；steady state visual evoked potential；smart mobile phone；bluetooth

2015-06-10 责任编辑：高 佳

国家自然基金项目（51405381）;陕西省工业科技攻关基金项目（2015GY020）

王 湃（1979-），男，辽宁丹东人，博士，讲师，E-mail：wangpai2013@xust.edu.cn

10.13800/j.cnki.xakjdxxb.2015.0521

1672-9315（2015）05-0656-06

TP 399

A