石丽雯，顾天琳，黄艳群，刘金剑

非语言交互视角下定制服务类产品体验设计方法探究

石丽雯1,2，顾天琳1，黄艳群1,2，刘金剑1

（1.天津仁爱学院，天津 301636；2.天津大学，天津 300350）

针对目前用户体验交互模态单一、获取用户需求的主观性强、对潜在需求挖掘不充分的问题，从用户多模态行为出发，探索用户体验设计的新方法。对多模态交互方式进行梳理，从用户KANO需求模型出发，挖掘能引发用户兴奋的潜意识需求，建立用户行为和思维模型并绘制用户旅程地图，结合鞋品定制平台案例进行交互设计应用与验证。在非语言交互视角下，建立鞋品定制平台的用户心智模型和行为模型，绘制体现多模态情绪变化的用户体验地图，并最终提出非语言交互用户体验设计标准。将非语言交互方法融入用户潜意识行为交互设计，可以更有效地感知产品使用过程中用户情绪的变化，探索交互环境等因素对用户“感知-行为-体验”设计模式的影响，为非语言交互设计方法在定制服务类产品设计中的应用提供了参考。

非语言交互；KANO模型；潜意识需求；多模态；体验设计方法

近年来，在数字化与信息化的广泛应用下，人们越来越关注用户潜在的、无法用语言清晰表达的期望和需求，如KANO模型提出期望型需求、兴奋型需求的概念[1]，多模态交互也得到了深入的研究[2-4]，但对于如何从用户多模态的行为出发，挖掘用户无法用语言清晰表达的潜在需求，目前的研究方法仍然以问卷调查、实地访谈等语言描述型方法为主，缺乏系统的设计方法。本文从非语言交互（Nonverbal Interaction）视角下的用户体验设计切入，力图在满足用户生理层面基本需求的前提下，寻找能增进用户与产品间情感共鸣的兴奋型需求、提高交互设计用户满意度的关键因素，对未来数字化交互体验的设计模式进行更深层的思考和展望。

1 研究背景

1.1 服务类产品的非语言交互行为研究

服务类产品的设计过程中存在多种非语言交互行为，分成单模态和多模态两种。“模态”通俗定义为感官，是一种可被感知和阐述的符号系统，通常包括语言、图形、声音、空间和身体动作等形式[5]。因此，其成为交互设计中重要的参考指标之一。多模态交互信息的采集与分析，可以为用户使用产品时个体情绪状态及认知状态的动态数据度量带来新的契机[6]。非语言采集技术能够利用感知与识别技术，实时、持续地记录用户使用过程中不同层级的信息，这些信息涉及用户的外显行为和内隐心理或需求，有利于改善单模态信息量不足且容易受到外界因素干扰的问题[7]，为多模态交互提供技术支持。

目前许莉钧等[8]利用案例对比分析对非语言交互行为进行了情感符号的多元化运用研究，Murphy等[9]利用录像回忆等方法对非语言交互行为进行了行为编码和情绪识别研究，调查结果较为主观，易出现对潜在需求挖掘不充分或认知偏差等问题，不利于挖掘能引发用户兴奋点的潜意识需求，且针对服务类产品设计领域展开的研究较少。

1.2 服务类产品的用户体验设计度量

用户体验度量是体验设计的关键环节，学者对此进行了深入探索。陈星海等[10]提出了用户体验五维度评估方法，对用户在不同情况下的主观感受进行五级评定划分，其中分别对正确率、频率、用户满意度和其他生理行为等进行数据收集和分析。余强[11]引入灰色系统理论，结合业务特征构建用户体验度量系统。杨信芬[12]通过行为编码，得到基于KANO模型的智慧课堂教学行为编码体系，对教学行为的分析变量、特征进行确定和测量。目前针对提高用户体验提出的研究方法，大多通过调查用户的主观感受，同时结合对产品本身的客观评价进行指标量化。

综上所述，对于服务类产品的交互设计，仍然有待从多模态非语言的角度进行体验设计模式的深入探索。本文结合基础KANO模型理论，通过建立一种包含交互环境要素的用户“感知-行为-体验”模式，发掘基于非语言交互的产品设计潜在需求，绘制体现多模态情绪变化的用户体验地图。对引发用户兴奋点的潜在需求进行深层剖析，可以发现，用户的潜在需求与可用语言表达的显性需求及非语言表达的隐性需求之间的关联性。

2 服务类产品非语言交互需求挖掘及体验框架构建

随着客户的需求与心理预期不断提升，传统单一交互模式的改进已无法满足。通过研究发现用户体验的关注点往往集中在KANO模型的期望型需求和兴奋型需求上，从用户KANO需求模型出发，基于非语言交互方法，挖掘并思考如何能引发用户兴奋的潜意识需求是本次研究的重点。依据传统KANO模型中用户需求的五个层次：基本型需求（）、期望型需求（）、兴奋型需求（）、无差异型需求（）和逆向型需求（）[13]，建立KANO矩阵图表，对用户使用产品时的情绪变化、主客观感受等进行评估，将非语言交互过程划分为基础感知和综合感知两个阶段，并进行相应的流程梳理，探寻KANO模型五类需求的权重关系，力图建立更有针对性的用户行为和思维模型并绘制用户旅程地图，实现多模态非语言交互在KANO模型中的延伸应用，丰富用户体验在一系列产品设计背后的设计语汇并提高情感价值。

以鞋品定制平台为例，原有的线下购鞋模式，使肢体残疾的目标用户在购买时，容易出现负向抵触情绪，其个人隐私被触及的不安感明显提升，不愿与导购人员交流，内心窘迫感被无限放大，这些心理导致用户实际得到的产品购买体验与期望值相差较大。影响用户后续分享行为的积极性，中断传播链路也会导致信息无法传播到目标用户群体，最终降低了对鞋品购买这一服务类产品的使用黏性。

一般而言，用户在购买鞋品过程中无法完全依据文字标签进行区分，且用户的喜好也无法仅通过定义功能属性的标签进行准确判定。例如选购了某类鞋品的用户并不一定会对其他同类鞋品产生购买意向，很可能仅是因为其选购的鞋品款式符合其审美要求。因此不能精确预测用户在鞋类产品定制上的偏好。同时，以审美和文化偏好去判断又容易产生界定困难、规程复杂等问题。因此，基于多模态的交互设计，通过挖掘非语言交互中的潜在需求，可以构建一种更加准确、高效的设计模式。该模式的应用分为感知、行为、体验三个阶段，从行为和体验阶段的情绪起伏出发，通过研究用户因不同需求引发的多种非语言交互行为，探知各交互因素对用户“感知-行为-体验”模式的影响，见图1。

2.1 基础感知阶段

基础感知阶段作为非语言交互的初级阶段，首先，用户对产品的外在信息（如功能、颜色、大小、品牌等）进行收集汇总并作出初步分析，预判用户偏好，完成初步的用户感知画像，形成感觉与认知，满足用户初识产品的好奇、探索心理，让用户眼前一亮，对应KANO模型中的必备型需求、期望型需求、兴奋型需求、无差别需求。该节点的需求占比依次为：基本型>兴奋型>无差异型>期望型>逆向型。其次，用户在收到反馈后，脑部对收集的信息进行初次筛选，与用户过往经历进行匹配，该节点出现不同的情绪走向，且易出现用户对产品误判的现象，此时形成的感知模态呈现出较单一的状态，对应KANO模型中的期望型需求、兴奋型需求、逆向型需求，该节点的需求占比依次为：期望型>逆向型>兴奋型>基本型>无差异型。

图1 用户“感知-行为-体验”模式框架

对设计师而言，需要思考如何合理营造非语言交互下的受众体验，避免单一的交互展现方式，让用户在非语言环境的指导下能读懂产品自身的操作性语汇，并在可调节范围内进行操作，明确产品使用语义，从而减少用户误判的发生，让用户及时发现认知偏离并自行修正。在满足其必备属性的基础上，还要注意多数模态的排布顺序，明确主次，更好地满足用户兴奋需求中的潜在要求。多模态二层级行为过程——基础感知阶段，见图2。

2.2 综合感知阶段

在综合感知阶段，基于前期的基础感知阶段进行进一步的推演分析，对于用户进行初筛信息出现的误判或错误认知情况，在该节点用户已接触过产品，产品本身的使用语义逐步清晰明确，此时用户在使用过程中会潜意识地修正自己的错误认知，同时接收产品带来的一系列惊喜意外，对应KANO模型中的期望型需求、兴奋型需求。该节点的需求占比顺序为：兴奋型>期望型>基本型>无差异型别>逆向型。通过对应心绪模拟和后续的案例应用，可以使用户对产品的理解更加准确，印证了非语言信息本身对系统的重要性和影响力度，使感知系统在不断完善的同时，也可以及时对用户的行为反馈加以修正，从而有效改善产品的交互服务质量，增强用户在非语言交互中获得的情感体验，更好地满足用户的需求期望。根据现有信息进行加工后，用户可以从环境中获得事物的信息，形成对事物特征的知觉。在外界环境的刺激以及内部生理、心理和其认知状态对个体情绪变化的共同作用下[14]，激发更多隐性需求，在非语言环境中读懂产品自身的设计语汇，借助其他感官因素，演进到综合感知阶段，构建非语言交互新形式。

图2 多模态二层级行为过程——基础感知阶段

对设计师而言，此种非语言交互新形式可以在设计中满足用户追求便捷性的需求及其他情感需求，也是实现多模态交互的有效途径，同时可以使产品的使用感受更加真实。依据不同场景进行更有针对性的设计，基于个体认知程度的不同，会呈现不同的结果。多模态二层级行为过程——综合感知阶段，见图3。

图3 多模态二层级行为过程——综合感知阶段

由此可知，多模态交互中的感知情绪点密度大、分布广，对用户情绪的采集起到规划指引作用。在非语言情境中，针对多模态二层级行为感知阶段的研究，可以拉近用户与产品的距离，不再仅停留于浅层的产品认知，也在用户使用过程中不断挖掘兴奋型需求。研究发现，逆向需求呈递减趋势，兴奋型和期望型需求呈正向递增趋势。交互多模态下的用户“感知-行为-体验”框架是挖掘能引发用户兴奋的潜意识需求的重要环节。

3 以鞋品定制平台为例的非语言用户体验设计

3.1 非语言交互下鞋品定制平台用户心智模型

产品的交互方式与用户的心智模型保持一致是用户理解和识别其功能及使用方式的前提[15]。将心智模型时间点划定为“历史-现在-期待”，针对不同时态下的用户行为推演出相对应的用户心智模型，从而明确用户兴奋的潜意识需求。新生产业及新理念的出现，引发用户产生更高层次的需求，因原有鞋品购买方式无法满足，激发了部分用户的潜在需求。当前阶段除了要保证用户选品等基本需求外，还应帮助用户提高个性化的满足感。甚至迎合新的消费趋势，引导构建品质生活新场景，推广多样化新生活提案，满足

用户的潜在需求，实现千人千面的新概念。回顾历史心智阶段，发现目标用户心智存在对尺码和试穿的心理顾虑现象，此阶段的核心问题为用户对网络购鞋的不信任心理逐渐增强，个性化概念普及度较低，购物流程及挑选模型单一化，仅能满足用户挑选货品。无法满足用户的潜在需求，服务范围较单一；现在心智阶段除满足用户选品需求之外，还提高了用户的消费满足感；在现在心智的基础上，期待心智阶段填补并迎合了消费新趋势，发现新生活需求，做到个性化定制。综上，在确保用户选品满意度的基础上，进一步提升用户兴奋型需求所相关的体验，发现新的生活需求，做到有效的个性化定制。非语言交互下鞋品定制平台用户心智模型，见图4。

3.2 非语言交互下鞋品定制平台用户行为模型

结合上述用户心智模型中对主打心智、核心心智的分析，明确用户在不同场景下的潜意识需求，挖掘该需求点对后续体验满意度的影响，同时进行用户行为模型构建，明确不同场景下影响用户行为的因素。具体场景分析，见表1。此外，针对用户的不同行为阶段进行的情绪和潜在行为推演示意，见图5。

构建非语言交互三感官分支模型，分别为视、听、触。由浅入深地对行为层、问题层进行探讨，提出相应的解决方案，进而引申出目的层，形成思维闭环。构建非语言、多渠道的交互方式，可以突破仅存于视听感官层面的信息传达，从多方面激发能引起用户兴奋的潜意识需求。运用非语言交互，将三感进行叠加，使产品呈现方式有更多的可能性，增强体验的真实感，使用户对产品的认知更加清晰。用户行为模型，见图6。

图4 非语言交互下鞋品定制平台用户心智模型

表1 非语言、语言环境下的场景分析

Tab.1 Scene analysis in nonverbal and linguistic environments

图5 用户不同行为阶段情绪和潜在行为的推演示意图

图6 用户行为模型

4 非语言交互下定制服务类产品体验设计模式

4.1 鞋品定制平台系统功能框架构建

针对市场上的现有问题，需要降低特定用户线上购鞋的抵触心理，在满足用户生理层面需求的前提下，挖掘能增进用户与产品间情感共鸣的兴奋型需求，并提高交互设计用户满意度。将视觉、听觉、触觉等模态感官与用户体验服务设计进行结合，例如邮寄选型鞋垫与线下实体鞋店合作，扩大用户可选择范围，提升服务体验感，让用户能够真正理解设计的同时也融入其自身对所购产品的理解，参与鞋品个性化定制过程，搭建满足用户非语言交互需求的设计服务平台。

鞋品定制服务平台系统的功能框架由设计师、用户和平台方共同参与构成。基于平台多用户主体模型，从影响用户使用体验的关键影响因素的角度出发，分别构建子平台系统的交互系统[16]。基于非语言交互模态，绘制多主体平台功能框架，鞋品定制平台层首先传达逻辑与数据处理结果给设计师，设计师通过调研、分析后生成设计方案反馈给平台方，完善方案设计后输出原型模型赋予最终的产品。平台依照自身服务五流程“样品寄售-数据搜集-样本回收-最终产品-鞋品发售”对用户进行产品输出，其中在样品寄送阶段向用户传达非语言指令进行引导，借助视觉、听觉、触觉感官向用户传达非语言语汇进行指导，如商家会寄出个性化选型鞋垫帮助用户自测，让用户在非语言状态下准确了解自己需要做什么、如何做，增加与产品的互动频次，并在用户开启隐私设置的前提下，记录用户在试穿行走过程中的个性化数据信息，深入挖掘用户的兴奋型需求和隐性需求。同时考虑特殊群体在使用应用时所遇到的问题，在听觉部分加入了语音导航和AI服务助手，扩大了用户服务的范围，打消了以往特殊人群在线下购鞋时所产生的自卑等其他负面心理。平台端在给予用户非语言引导后，会不断调整优化。随后进入数据采集服务阶段，该阶段是在接受用户自身参与设计分析与方案设计的体验后，生成对应的需求反馈，在用户开启隐私设置的状态下，平台技术层将通过对路线勘测、重心监测、信息汇总等的收集、分析，生成个性化数据报告。同时在方案设计过程中加入多模态信息，通过调动视觉、听觉、触觉的感官体验来不断完善平台端数据，最终完成鞋品定制与发售过程。用户获得鞋品后，反馈建议会通过平台方传达给设计师，有利于平台发展、迭代，形成更多新的设计方案，不断满足新用户的新需求。三主体在设计过程中不断进行信息交流，形成完整的交互服务流程。具体平台功能框架，见图7。

4.2 平台系统应用案例

随着互联网的发展和人民日益增长的消费需求，肢体残疾人士同样需要体面的着装打扮、拥有属于自己的时尚风格，但目前市场上这类为残疾人设计的服装服务产品却并没有得到足够的重视。“足矣”鞋品定制服务平台的目标是为用户提供舒适便捷的穿鞋、购鞋、定制鞋的体验，以解决肢体残疾和部分对鞋品有特殊需求的人群仅需单只鞋、鞋不合脚或特殊鞋品定制的问题。

图7 平台功能框架

首先，“足矣”鞋品定制服务平台力图将人文关怀、无意识设计、无障碍鞋品设计作为设计目标，研究特殊需求人群的行为特征，扩大服务群体。以个性化鞋品定制这一服务阶段为案例，绘制用户体验地图，对用户在每个阶段的行为情绪进行可视化分析，以挖掘体验设计的机会点。其次，运用用户体验地图对目标人群在每个阶段的关键情绪进行感知，分析用户在不同阶段的关键情绪变化，并找寻相关机会点，以提供流畅的购物体验。选取鞋品定制阶段作为研究对象，将用户行为划分为“数据上传、穿戴适配、消杀回收、回收调查、鞋品发售”五个阶段，重点研究目标用户群体的交互行为。最后，在凝练总结用户需求点后，分析平台方五级服务流程中的延伸服务功能点及可能出现的服务情况，在数据上传阶段用户可操作情景分为：商家邮寄选型鞋垫或在线下实体店进行专业测量；邮寄可塑性选型鞋垫可以减少用户迷茫的情况，减少所需测量数据的误差，同时增加与产品的接触频率，在非语言下对用户进行使用引导，穿戴后与适配APP进行关联互动，记录个性化数据并总结分析，以便用户可以及时调整行走习惯；回收时进行消杀处理，增加安全保障，让用户安心使用；回收后再次对用户进行调查回访，发布相关问题，例如长时间穿戴后脚部是否有磨损、穿戴过程中感受到的缓震效果、是否有某点为长时间受力点等。同时引导用户说出自己期望的产品类型，或喜爱的相关产品风格，从而明确用户的兴奋点。

相比于非语言下的单模态情绪曲线，多模态情绪曲线整体呈现上升趋势，在非语言引导下借助多模态感官辅助用户理解产品设计语汇，解决用户使用问题，深挖用户隐性需求的兴奋点，提高用户选品满意度。对照行为流程绘制情绪曲线后进行关键词提取，分析相关情绪下的痛点与机会点。目前的数据自测难度相对较大，易出现操作偏差的现象，用户的耐心会随时间推移而减少，期望值也会随之降低，且在特殊时期，用户的忧虑心理、鞋品与预期值不符等，也会影响用户期望及购买欲望。针对上述痛点推演对应机会点，商家可以通过邮寄选型鞋垫等方式来记录和采集用户的非语言个性化定制需求，通过手机APP联动，帮助用户调整习惯。测试一段时间后将样品回收消杀，消除用户对清洁的顾虑心理，并进行阶段性回访，履行“个性化”服务宗旨，稳步提升用户期待。以“足矣”鞋品定制服务平台设计为案例，验证可视化地图的有效性，比较不同模态下情绪体验的变化，具体用户体验地图应用案例，见图8。

总结归纳非语言交互用户体验的设计标准，在“足矣”鞋品定制服务平台上进行具体应用，以多模态非语言引导作为用户与产品沟通交流的重要渠道，借助视觉、听觉、触觉多感官的结合，综合用户心智模型与行为特征，对用户不同行为阶段的情绪和潜在行为推演进行多主体服务平台框架搭建，挖掘用户潜在需求的兴奋点，提出非语言交互视角下定制服务类产品体验设计的新思路。

图8 用户体验地图应用案例

5 结语

非语言交互以人类五感认知及大脑反馈为基础，在用户体验设计中起着重要作用，非语言交互的融入给体验设计提供了新思路和新方法，契合了数字化发展的趋势：科技与艺术、感知的融合演化迭代。本文通过用户“感知-行为-体验”模式框架挖掘用户潜在需求，基于KANO模型的多模态二层级行为过程分析，得出非语言交互下鞋品定制平台的用户心智模型和行为模型，分析用户在非语言交互中的关键情绪变化，探知交互环境等因素对用户“感知-行为-体验”设计模式的影响，结合“足矣”鞋品定制服务平台设计实际案例绘制用户体验地图，验证了研究的合理性，通过对比单模态和多模态情绪曲线，分析非语言交互对兴奋需求中潜在需求的挖掘程度，并初步得出了非语言交互用户体验设计标准。后续应补充数据采集与分析环节，针对不同主体的具体需求应进行服务触点的细化，实现能更加深化情感共鸣的人性化的设计，进一步完善“以人为本”的非语言交互用户体验设计。

[1] ZHAO Shuang-yao, ZHANG Qiang, PENG Zhang-lin, et al. Integrating Customer Requirements into Customized Product Configuration Design Based on Kano's Model[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 597-613.

[2] 马志强, 岳芸竹, 王文秋. 基于多模态交互信息的协作学习投入分析[J]. 现代教育技术, 2021, 31(1): 47-53. MA Zhi-qiang, YUE Yun-zhu, WANG Wen-qiu. Analysis of Collaborative Learning Engagement Based on Multimodal Interaction Information[J]. Modern Educational Technology, 2021, 31(1): 47-53.

[3] 徐威, 徐梦陶. 多模态交互在数字体验设计中的策略探究[J]. 艺术与设计(理论), 2021, 2(4): 72-74. XU Wei, XU Meng-tao. Research on the Strategy of Multimodal Interaction in Digital Experience Design[J]. Art and Design, 2021, 2(4): 72-74.

[4] 陶建华, 巫英才, 喻纯, 等. 多模态人机交互综述[J]. 中国图象图形学报, 2022, 27(6): 1956-1987. TAO Jian-hua, WU Ying-cai, YU Chun, et al. A Survey on Multi-Modal Human-Computer Interaction[J]. Journal of Image and Graphics, 2022, 27(6): 1956-1987.

[5] 马晓娜, 张雨欣, 于茜. 基于多模态信息交互的智能家居设计研究[J]. 包装工程, 2022, 43(16): 59-67, 115. MA Xiao-na, ZHANG Yu-xin, YU Xi. Smart Home Design Based on Multimodal Information Interaction[J]. Packaging Engineering, 2022, 43(16): 59-67, 115.

[6] 张琪, 武法提. 学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J]. 电化教育研究, 2016, 37(9): 76-81, 109. ZHANG Qi, WU Fa-ti. Biological Data Representation in Learning Analytics: Prospect of the Application of Eye Movements and Multiple Modality Technology[J]. e-Education research, 2016, 37(9): 76-81, 109.

[7] 罗保权, 邢亚龙. 多模态理论在数据可视化交互装置设计中的应用研究[J]. 设计, 2022, 35(1): 48-51. LUO Bao-quan, XING Ya-long. Application of Multimodal Theory in Data Visualization Art Installation[J]. Design, 2022, 35(1): 48-51.

[8] 许莉钧, 陈香, 周丰. 全媒体时代非语言情感符号的多元化设计演变与发展[J]. 包装工程, 2020, 41(22): 191-196. XU Li-jun, CHEN Xiang, ZHOU Feng. Evolution and Development of the Diversified Design of Non-Verbal Emotional Symbols in the Omni-Media Era[J]. Packaging Engineering, 2020, 41(22): 191-196.

[9] MURPHY N A, SCHMID MAST M, HALL J A. Nonverbal Self-Accuracy: Individual Differences in Knowing One's Own Social Interaction Behavior[J]. Personality and Individual Differences, 2016, 101: 30-34.

[10] 陈星海, 何人可. 大数据分析下网络消费体验设计要素及其度量方法研究[J]. 包装工程, 2016, 37(8): 67-71. CHEN Xing-hai, HE Ren-ke. Design Elements and Measurement Methods of Online Consumption under the Big Data Analysis[J]. Packaging Engineering, 2016, 37(8): 67-71.

[11] 余强. 基于灰色系统理论的用户体验度量设计研究——以同城货运互联网产品为例[D]. 杭州: 中国美术学院, 2021. YU Qiang. Research on the Design of User Experience Measurement Based on Grey System Theory— Taking Internet products of freight transportation in the same city as an example[D]. Hangzhou: China Academy of Art, 2021.

[12] 杨信芬. KANO模型支持下的智慧课堂教学行为编码体系及应用研究[D]. 贵阳: 贵州师范大学, 2022. YANG Xin-fen. Research on the Coding System and Application of Teaching Behavior in Smart Classroom Supported by KANO Model[D]. Guiyang: Guizhou Normal University, 2022.

[13] 李淑敏, 赵港, 呙鹏, 等. 基于模糊Kano模型的青年合租空间收纳设计研究[J/OL]. 包装工程, 2022: 1-17. (2022-08-31). https://kns.cnki.net/kcms/detail/50.1094. tb.20220829.1652.004.html.LI Shu-min, ZHAO Gang, GUO Peng, et al. Research on the Improvement Design of Youth Shared Housing Space Based on Fuzzy Kano Model[J/OL]. Packaging Engineering, 2022: 1-17. (2022-08-31) https://kns.cnki. net/kcms/detail/50.1094.tb.20220829.1652.004.html.

[14] 王一岩, 王杨春晓, 郑永和. 多模态学习分析：“多模态”驱动的智能教育研究新趋向[J]. 中国电化教育, 2021(3): 88-96. WANG Yi-yan, WANG Y, ZHENG Yong-he. Multimodal Learning Analytics: A New Research Trend in Intelligence Education Driven by Multimodality[J]. China Educational Technology, 2021(3): 88-96.

[15] 布雪莹. 基于用户心智模型的移动应用UI交互设计研究[D]. 吉林: 东北电力大学, 2021. BU Xue-ying. Research on Interactive Design of Mobile Application UI Based on User Mental Model[D]. Jilin: Northeast Dianli University, 2021.

[16] 张静, 石丽雯, 郭伟, 等. 面向医疗供应链的新零售平台用户体验研究[J]. 包装工程, 2019, 40(4): 42-51. ZHANG Jing, SHI Li-wen, GUO Wei, et al. User Experience of New Retail Platform for Medical Supply Chain[J]. Packaging Engineering, 2019, 40(4): 42-51.

Exploration on Experience Design Method of Customized Service Products from A Nonverbal Interaction Perspective

SHI Li-wen1,2, GU Tian-lin1, HUANG Yan-qun1,2, LIU Jin-jian1

(1.Tianjin Ren'ai College, Tianjin 301636, China; 2.Tianjin University, Tianjin 300350, China)

The work aims to explore a new method for user experience design from the user multi-modal behavior in response to the problems of single mode of user experience interaction, high subjectivity in acquiring user needs, and inadequate exploration of potential needs. The multi-modal interaction mode was sorted out. Based on the KANO need model, the subconscious needs able to trigger users' excitement were explored, the user behavior and thinking models were established and the user journey map was drawn, and then the interaction design was applied and verified with the case of the shoe customization platform. Under the perspective of nonverbal interaction, the user mind model and behavior model of the shoe customization platform were established, the user experience map reflecting multi-modal emotional changes was drawn, and finally the nonverbal interaction user experience design standard was proposed. Integrating the nonverbal interaction method into the user's subconscious behavior interaction design can more effectively perceive the user's emotional changes during the use of the product, explore the influence of the interaction environment and other factors on the user's "Perception-Behavior-Experience" design model, and provide a reference for the application of the nonverbal interaction design method in the design of customized service products.

nonverbal interaction; KANO model; subconscious needs; multi-modal; experience design method

TB472

A

1001-3563(2023)10-0070-09

10.19554/j.cnki.1001-3563.2023.10.007

2022-12-29

天津市教委科研计划项目（2022KJ042）

石丽雯（1986—），女，硕士，博士生，讲师，主要研究方向为交互设计方法，用户体验度量，群智社区协同创新。

刘金剑（1985—），男，硕士，讲师，主要研究方向为互联网用户研究、产品设计。

责任编辑：马梦遥