基于眼动信号追踪技术的产品情感设计系统应用实践

2021-05-08谢黎尹玲

中国新技术新产品 2021年4期

谢黎尹玲

（东莞理工学院，广东东莞 523808）

0 引言

该文以生理信号研究理论为基础，并基于人体眼动信号识别开展了对产品情感设计系统的研究与实践。在该领域的研究中，可以通过非生理信号（视觉信号、语音信号）及生理信号等手段对人的情绪进行感知[1]。通过使用现代检测设备采集到的生理信号数据（例如眼动仪）来搭建数据分析及应用平台，并将该类系统应用于销售场景，用来监测消费者在产品选购时他们喜好的变化情况。利用情感泛化特征分析系统，将数据与产品设计需求结合，建立基于人体生理信号反馈的产品情感设计系统，从而为产品开发及销售提供有价值的评估与判断。

1 眼动生理信号与情感关联性的理论研究

1.1 理论研究

该研究以非侵入式身体生理信号检测技术为依托，对具体的产品情感设计系统进行研究。目前国内外多以非侵入式生理信号检测技术为研究方向，它的研究内容涉及很多领域，例如情感智能与普适计算、虚拟现实、情感化设计、用户体验、交互设计、情感机器人、在线教育、情境学习、多媒体检测、游戏设计、驾驶员情感分析以及康复医疗等。以眼动为代表的基于生理信号的产品设计研究和评估，是从认知科学、计算机科学以及人工智能的角度去理解的。人体自主神经的活动，例如随着1种情感的变化几种生理特征也会发生变化，而有一些自主神经，在一般情况不会受到人的思想的主观控制。因此，对该生理信号进行情感分析是具有比较明显的客观性和准确性。相对来说，眼动这类生理信号对面部表情和姿态的识别具有更明显的客观性与准确性，通过这类客观反映来评估人们的情感、状态，其结果更准确。目前，该定量分析方式的技术还不成熟，大部分都采用定性分析的方法。在定量分析的基础上，结合更多的数据研究和有效评估，对产品的设计进行一些相对客观和理性的情感化判断。将情感反馈与用户体验结合，从而更好地促进产品开发，还有待于进一步研究。浙江大学研究E-Teatrix中虚拟人物及情感系统的构造，根据该研究可知，情感计算中的生理信号是识别人情绪的1种非常有用的数据特征[2]。情感指标是相对广泛的，基于眼动生理信号带来的情感指标特征可以在产品开发评估环节中应用，也是该文的研究重点。

1.2 国内外的情感设计研究重点

获得情感数据以及情感测量的手段是研究中的首要难点，P.J.Lang指出有3种资料可以作为情绪的指标，分别是行为、自我报告以及生理反应。基于行为的情感认知，随着传感器等硬件技术的发展，越来越多的研究借助语音、面部表情以及身体姿势等多媒体数据来完成对情感的获取和分析。在实验室测量的过程中，除了借助行为来描述情感以外，还可以通过以下2种途径描述情感：1）实验受测者的自我报告。用各种量表来评估受试者的情绪反应。2）生理信号。眼动研究就是其中之一。早在19世纪，就有科学家运用对人的眼球运动分析来解析人的心理活动，眼动仪的问世为心理学家提供了强大的工具，利用眼动技术研究人在各种不同条件下的视觉信息加工机制，分析其与心理活动的关系，为心理学研究提供了更多宝贵的数据。心理学研究中常用的参数主要包括眼动时间、注视点轨迹图、眼跳方向的平均速度、时间、距离、眨眼和瞳孔大小（面积或直径描述，单位象）。通过眼动监测技术记录眼动的轨迹，提取对应的视觉信息，并对其进行研究，从而探究个体的情感变化。

将由人的情感变化所引发的生理及行为特征信息建立在各类传感器上，并搭建情感模型，从而创建个人情感计算系统。在主流研究中，对常态人群的认知过程和生理过程进行了水平比对，认知过程、生理变化以及情绪是紧密联系在一起的，究竟哪个更能体现情绪的波动，一直存在争论[3]。现有的研究工作主要围绕情感单模态理论与相关技术的可实现性而开展。哈尔滨工业大学的多功能情感机研究，主要包括表情识别、姿态情感识别等。清华大学进行了基于人工情感的机器人控制体系结构及脑机接口研究。北京交通大学和北京工业大学对多功能感知机和情感计算进行了融合研究。中科院软件所主要研究智能个体界面。中科院自动化研究所则研究了基于生物特征的身份验证。中科院心理学所、生物所则注重对情绪心理学与生理学关系的研究。中国科技大学开展了基于内容的交互式情感图像检索的研究。浙江大学、江苏大学建立了自己的情感数据库，可以从生物信息中提取特征来对情感识别进行研究。中科院计算所开展了对带有表情和动作的虚拟人的研究。北京科技大学、东南大学和南京航空航天大学主要研究语音情感识别以及语音情感计算。重庆大学致力于智能软件方面的研究。

2 眼部生理信号的数据处理方法

结合情感化产品设计中关于眼部生理信号提取的理论素材，对其进行分析和处理，并结合不同视角、场景和空间等寻找创新性的设计切入点，为后续系统开发做进一步的积累。可以通过测量该生理信号的变化识别出该信号中的情绪模式，通过对应的情感计算情绪模型来对相应的产品进行设计[4]。结合眼动信号驱动的产品情感设计系统的开发，通过眼动提供的几类指标体系搭建产品设计的框架模型，从而设计有针对性的用户使用产品，并提供使用场景的参照。

2.1 应用背景

2.1.1 眼动信息反馈的有效性

眼动检测是非侵入式生理监测中相对较为客观的1种手段。眼睛是心灵的窗户，眼睛有非常多细小而敏感的生理结构，而眼睛的瞳孔具有非常明显的意识，即感觉性的反应。瞳孔的大小、变化以及反应，都会受到交感神经与副交感神经的支配。

2.1.2 以眼动仪技术为载体，基于生理信号识别的产品情感设计系统

以眼动信号为基础的研究，作为符合一定设计原则的产品情感设计系统，其提供的眼动信息是反馈内心真实情感的生理性外化渠道。可以通过眼睛捕捉到人们真实的情感，这就是人们常说的心灵的窗户，由此得出新的产品设计方法。

2.2 技术背景

2.2.1 瞳孔角膜反射技术（PCCR）

该技术的基本理念是使用1种光源对眼睛进行照射，使其产生明显的反射，并使用1种摄像机采集带有这些反射效果的眼睛的图像；再使用该图像来识别光源在角膜（闪烁）和瞳孔上的反射。这样就能够通过角膜与瞳孔之间的反射角度来计算出眼动的向量，然后结合该向量的方向与其他反射的几何特征计算视线的方向。

2.2.2 生理指标测量

生理指标测量是指通过多种传感器测得人类身体对某事物的感知或思维想象的反应。该方式能够直接获得来自中枢神经系统（例如大脑）或与周围神经系统（例如眼球的瞳孔、皮肤的汗腺）相关的数据。通常引入生理指标的目的是为了衡量能够更直接地反映出与情绪相关的身体反应。应用另一种常见生理指标的目的是为了确定执行某项任务时的脑力负荷，该方式是设计该项目产品及其衍生产品的出发点。

3 基于眼动信号的产品情感设计系统设定

3.1 穿戴式用户信号仪的产品系统框架及工作逻辑

为了让收集到的数据更接近真实环境下人体的真实数据，产品的设计规划基于非侵入式身体生理信号检测技术而展开。产品系统由穿戴式眼动仪（用户端）、其他人体生物信息检测设备、数据中转站以及后台系统组成，系统流程演示图如图1所示。

3.1.1 穿戴式眼动仪（用户端）

穿戴式眼动仪的主要功能是收集眼动数据、面部表情图像数据以及使用者视野环境图像数据。其主要功能硬件模块有嵌入式微型眼动捕捉传感器、面部表情捕捉传感器、嵌入式微型摄像头以及数据传输器等。功能硬件模块的工作逻辑是由嵌入式微型眼动捕捉传感器、面部表情捕捉传感器以及嵌入式微型摄像头分别收集对应的眼动数据、面部表情图像数据和使用者视野环境图像数据，再通过数据传输器传输给数据中转站（注：嵌入式微型眼动捕捉传感器收集眼动数据应用的是瞳孔角膜反射技术）。

3.1.2 其他人体生物信息检测设备

其他人体生物信息检测设备是指在该产品系统的基础上，衍生出来的收集皮肤电、动作检测、呼吸以及心率等人体生物信息数据的硬件产品，该产品的形式可以是智能手环等非侵入式的硬件产品，产品的工作逻辑是通过数据传输器将感应器收集的数据传输给数据中转站。

3.1.3 数据中转站

数据中转站是指专门接收该系统检测设备（包括但不限于穿戴式眼动仪）输出数据的终端设备，该设备在接受数据的同时，还可以对数据进行初步的处理、存储，并上传到系统云端。

图1 基于眼动信号的产品情感设计系统流程演示图

3.1.4 后台系统

后台系统指对数据进行分析的系统，分析者通过后台系统下载云端数据，设定对比算法，对其进行对比分析，从而形成可视化的分析结果。

可以针对不同的实验目的和实验目标设定对比算法，结合相应的图像数据，设定不同的算法模型，当嵌入式微型摄像头识别到使用者视野环境中出现该图像数据时，将抓取各类人体生理指标，通过算法模型对其进行计算和对比分析。

其具体的对比分析方法包括但不限于嵌入式微型眼动捕捉传感器收集的眼动数据，该数据包括眼动时间、注视点轨迹图、眼跳方向的平均速度、时间、距离、眨眼和瞳孔大小（面积或直径描述，单位象）；将该眼动数据与使用者视野环境图像数据进行对比，可以知道用户对视野环境中的目标实验物体的关注度和其他感受。同理，将面部表情图像数据、其他人体生物信息检测设备测量的人体生理指标与使用者视野环境图像数据进行对比，可以知道用户对视野环境中的目标实验物体的其他感受。

3.2 该系统在现实中的应用

该系统的类似系统常在观测特殊人群中应用，用来帮助理解、认知以及预防特殊人群的行为及治疗，有学者通过研究情绪-心智对比提出了心智理论（ToM）模型，该模型是可以帮助自闭症患者度过日常生活的系统模型[5]。快消产品的更新迭代速度快，每次产品更新的库存投资高，通常只能通过销售数据和用户访谈等方法获取更新效果的数据，数据的获取周期长且不具有时效性。品牌方营销人员可以通过该系统在各线下门店卖场分别投放一定数量的穿戴式眼动仪、其他人体生物信息检测设备以及1个数据中转站，引导消费者取戴眼动仪后再进行购物活动，结账后再归还眼动仪。通过数据中转站将消费者在购物过程中产生的眼动数据和人体生理指标数据上传云端，由营销人员（分析者）通过后台系统设定新品数据（实验目标），进行对比分析，得出消费者对新品的用户情绪数据。穿戴式用户信号仪如图2、图3所示。