谭征宇，戴宁一，张瑞佛，戴柯颖

(1.湖南大学 汽车车身先进设计制造国家重点实验室，湖南 长沙 410082; 2.湖南大学 设计艺术学院，湖南 长沙 410082)

0 引言

《中国制造2025》首次提出了智能网联汽车(Intelligent and Connected Vehicles, ICV)的概念[1]。智能网联汽车是指搭载先进车载传感器、控制器、执行器等装置，融合现代通信与网络技术，实现车与车、路、人、云等智能信息交换、共享，具备复杂环境感知、智能决策、协同控制等功能，可实现安全、高效、舒适、节能行驶，并最终实现替代人来操作的新一代汽车[2]。ICV的发展可分为4个阶段：自主式驾驶辅助、网联式驾驶辅助、人机共驾、高度自动/无人驾驶[3]。

网联式和自主式相结合是我国智能网联汽车发展的主流模式。网联式智能汽车(Connected Vehicle, CV)通过网络系统感知周边环境，实施决策控制和非自主式自动驾驶；自主式智能汽车(Automated Vehicle, AV)独立于其他车辆，依靠车载传感器与车载控制系统，实现环境感知和决策控制，执行自动驾驶。汽车网联化和智能化催生出新的人车关系和用车方式，创造了汽车人机交互创新发展的机遇与前景。

近年来，ICV核心技术的可靠性有所提升，技术效能[4]问题有所突破，个人需求[5]、体验质量和消费偏好也逐渐得到重视[6]。ICV人机交互随之成为汽车工业界和学术界新的研究重点[7]，国内外学者面向智能化及网联化汽车开展了大量人机交互理论研究与应用研究[8-12]。但是，在5G、物联网、人工智能(Artificial Intelligence, AI)及新兴汽车人机交互技术蓬勃发展的新时代背景下，ICV人机交互的内涵、研究进展及发展前景有待研究和探讨。

本文展开文献综述研究，分析了国内外ICV人机交互技术研究文献，重点从信息识别、车载多维人机界面和新兴车载智能单元3个方面总结技术成果和应用现状。结合交通运输、互联通信、普适计算、人因工程学和心理学等多领域多学科文献，总结并解释了智能网联汽车人机交互研究的3个关键问题：ICV技术接受意愿、ICV人机交互质量和ICV驾乘体验。最后，从效用优化、体验重构和价值增益3个层面，对我国ICV人机交互的发展前景进行了展望。

1 智能网联汽车人机交互概念阐述

ICV结合了CV与AV的技术优势，因此，ICV人机交互也具备CV人机交互和AV人机交互融合的特点，包含两方面的内涵，三者关系如图1所示。

一方面，ICV使用了CV的联网协同控制、车联网[13](LTE-V2X、5G-V2X)和云计算等技术，可实现超低延时、超高可靠性和超大带宽的通信，支持ICV完成“车—人—环境—云端”信息交互及共享[14]。大量用户数据、车辆数据和环境数据可通过网络传输至云端进行存储、管理和分析，形成融合多源数据的云端数据中心，产生人机界面(Human Machine Interaction, HMI)的个性化定制和智能化自适应等应用，促进汽车产业向智能制造的“大数据、互联、平台”方向转型[1]。同时，生活服务、车辆共享服务、远程通讯服务、信息娱乐服务和空中下载(Over-The-Air technology, OTA)等增值服务融入ICV，将创造实时、高效、无缝的5G互联出行场景和交互体验。

另一方面，ICV融合了AV的技术，配备了高级驾驶辅助系统(Advanced Driving Assistance System, ADAS)及车载智能计算平台。达到人机共驾和高度自动驾驶以后，ICV主导性上升，人机之间的任务被重新划分，驾驶员从主动驾驶任务中解放出来[15]。为满足非驾驶活动需求，车载人机交互界面将打破现有的中控仪表显示屏和触摸屏的形式。同时，ICV人机交互系统需实现与人之间的意图及信息双向精准传达，从而顺利完成动态驾驶过程中人车间控制权交接的重要任务。

因此，ICV人机交互的研究内容不仅包含基于手动驾驶展开的驾驶安全性、车载HMI、车载应用程序等方面[16]，还新增了与增值服务、智能制造、非驾驶活动、人机界面拓展和人机控制权转换等相关的交互场景，同时对基于大数据、物联网和人工智能的先进人机交互技术提出了需求，成为适应中国新时代科技发展的新领域。为满足需求，国内外企业已开发了部分智能网联汽车人机交互系统，如表1所示。

表1 国内外部分智能网联汽车人机交互系统

2 智能网联汽车人机交互技术研究和应用现状

网联式智能汽车和自主式智能汽车，以及与之相关的自动驾驶汽车和无人车等领域积累了较多汽车人机交互技术研究成果，分析这些研究文献和应用案例，总结出智能网联汽车人机交互技术研究和应用现状。ICV人机交互系统的技术内容如图2所示。

2.1 信息识别

信息识别技术是提升车对人感知、理解与沟通能力的基础，依赖于大量的数据和计算资源。ICV具备联网能力上的天然优势，已建立云端数据存储和机器识别的可行方案[17]，从而降低在车内使用信息识别技术的经济、能源和车辆硬件负担，奠定了技术的应用基础和发展前景。

2.1.1 人机交互指令识别

目前主流的汽车人机交互指令识别技术主要有触摸识别、手势识别、凝视识别、头部姿态识别和语音识别。

(1)触摸识别 随着材料技术、柔性电子技术以及纳米技术在触觉传感器领域的应用，高性能触觉传感器得到快速发展并在车载人机交互中投入使用。触摸识别的分辨率、灵敏度等性能得到提升，有望突破当前的功能和使用场景限制。例如，宝马公司在2018年9月正式发布了概念车型BMW Vision iNEXT，其后排位置表面采用可识别手势操作的特殊智能材质，使车内触摸交互脱离触摸屏的限制。

(2)手势识别 车载交互手势识别包括静态手势识别和动态手势识别。利用多种先进车载传感器检测手势[18]，如运用经过深度训练的卷积神经网络(Convolutional Neural Networks, CNN)识别动态手势信息[19]。除了发展较为成熟的线下手势识别，在线手势识别在分类精度、响应时间、图形内存消耗和用户可用性方面均有所突破[20]。

(3)凝视识别与头部姿态识别 在车内，凝视识别应用于指向、选择等交互任务，能提高交互速率，降低认知负荷和操作负担，也可以服务于老年人、残疾人等肢体功能较弱的人群。头部姿态信息与眼部运动信息高度相关，因此在眼部运动信息识别中通常同时采集头部运动信息[21-22]，并考虑两者的数据融合[23]。

(4)语音识别 语音识别是车载人机交互系统的关键技术，用于自动导航、语音搜索、命令控制、语音助理等使用场景。随着前馈深度神经网络(Deep Feedforward Networks, DFNs)和深层递归神经网络(Recursive Neural Network, RNN)在自然语言处理(Natural Language Processing, NLP)领域的使用，语音对话系统的长短期记忆(Long Short-Term Memory, LSTM)能力有所改进，其智能化程度有所提高。科大讯飞在2018年CES电子展上推出全新一代智能语音控制系统，具有窄波束、声源定位、立体声回声消除3大特点，其中，窄波束可降低行车场景下的人声干扰，而声源定位指向系统可快速准确识别发音人位置，提升使用感受。

为改善交互指令识别的速度和精度，眼睛虹膜、掌纹、笔迹、步态、语音、唇读、人脸和DNA等人类特征识别的研发应用也倍受关注。车载人机交互的主要成果集中于基于生物电信号[24-25](脑电、肌电、心电等)识别和表情[26]的人机交互指令识别技术。其中，基于生物电信号的人机交互指令识别技术可感知人的隐性交互意图，通过微小生物电信号的识别、分析和表征来获取交互输入指令[27]，辅助普通驾驶者和肢体障碍者实现车辆控制[28]。例如，日产尼桑的“脑车接口”(Brain to Vehicle, B2V)技术通过预测人类司机的行为，提前实现转向或踩刹车等操作。车载交互表情指令识别方面，目前国内外文献较少，其在自然用户界面(Natural User Interface, NUI)的应用已有初步研究进展，如通过识别用户的表情情绪和视线来处理信息智能汽车内的娱乐交互内容[29]。最新研究中，利用表情识别对驾驶员情绪、行为和意图进行判断[30]，表情在交互中作为隐式意图的载体[31]，其价值有待进一步挖掘。

随着先进传感器、模式识别算法和生物计算机控制等前沿技术投入使用，性能不断提升的人机交互指令识别技术将建立ICV的人车间多维度和高精度的信息交互，其特征总结为：①高效率指令识别；②多样化的人车交互场景；③跨人群适应(社会、文化、经济或身体特征)。ICV人机交互交互指令识别技术如表2所示。

表2 智能网联汽车人机交互指令识别技术

续表2

2.1.2 状态识别与监测

基于ICV所搭载的多种先进传感器和车载智能计算平台，结合状态识别与监测技术，形成了具备主动感知能力[32]的多传感器计算系统，实现对认知负荷[33]、次要活动[34]、情绪状态[35]、动作姿态[36]和疲劳情况[37]等的监测和识别，从而提升车辆安全性和可靠性。Theagarajan等[26]提出新的面部外观特征表示方法，构建了利用单目采集的视频图像预测驾驶员心理和生理状态的车载智能系统;Olariu等[38]使用驾驶员监控系统实时捕捉头部和眼睛的运动，判断将机器控制权交给人类驾驶员的适宜时机;Wang等[39]运用CNN和RNN识别面部表情，结合基于Mel频率倒谱系数(Mel Frequency CepstrumCoefficient, MFCC)的语音特征编码，利用LSTM和CNN通过加权决策融合方法进行情感识别，并应用于自动驾驶汽车。2017年，百度Apollo发布了全球首款人车AI交互系统——Apollo小度车载系统，通过红外识别监测驾驶员的分心和疲劳状态，能及时提醒司机集中精力驾驶。此外，通过识别人体无线电生物特征，可建立基于非视觉技术的车内监测功能，例如，Xu等[40]在智能汽车场景中演示了无线人工智能系统，通过商用Wi-Fi设备收集驾驶员和乘客信息，周期性地将生物信号引入无线通道状态信息(Channel State Information, CSI)，可以监测驾驶员的状态，计算车内人数，并且检测出被遗留在车内的儿童。

随着技术应用的深入，ICV车载交互系统积累的状态监测数据、交互控制数据、个人偏好数据以及网联化服务数据等衍生大数据可用于车载系统的主动学习和自适应，如车载人机交互的独立决策与主动支持[41]，以及基于数据时空特征的行为预测与HMI动态适应[42]，从而实现人机交互系统功能推荐、定向服务和HMI定制等功能，构建信息感知型ICV车载人机交互系统，提升附加体验价值。

2.2 车载多维人机界面

车载HMI作为人与汽车间相互作用并施加影响的区域，以集成的多接口、多模态和多区域的形式，向车载多维人机界面发展。目前，产学研界致力于研发可接收、存储、处理和输出信息的综合型车载HMI[43]，所积累的智能多模态人机界面和空间立体交互技术，共同构成了车载多维人机界面的发展基础。

2.2.1 智能多模态人机界面

为适应车内复杂场景和数字化操作，具有较高自然性及直观性[44]的智能多模态人机界面逐渐成为研究热点。一方面，智能多模态人机界面融合了语音、手势、注视、触摸屏等多种交互输入接口，结合行为(表情、眼动、姿态)和生理信号等意图信息实现多模态交互输入；另一方面，通过触觉、听觉、嗅觉、平衡感和温度等建立多模态交互反馈[10]。

通过各交互接口优劣势互补，可满足车载交互的多种需求。例如，听觉和触觉接口可以在不考虑人的眼睛和头部姿态的情况下完成交互任务[45]，而基于生理电信号的接口能够建立一种跨文化的信息传达优势[28]。随着技术精进，智能多模态人机界面发展出以下几种车内创新应用方向，为其在ICV中的具体应用提供了参考。

(1)协助弱势群体 基于丰富的交互控制和反馈输出方式，智能多模态人机界面可满足不同类型弱势群体对信息无障碍交互(Information Accessibility, IA)的需求，以及弥补残障人士生理和认知能力的不足[46]。研究表明，方向盘与触觉界面结合，可协助盲人独立使用触觉提示来控制无人驾驶汽车转向[47]，在方向盘和安全带上集成触觉反馈界面，可提高对老年人的盲点警告效果[48]。此外，Brinkley等[46]通过在准自然道路上展开用户实验，获取视障人群对多模态交互原型系统的感知评价，验证了空间语音、情感计算原理和NLP等技术相融合的应用前景和价值。

(2)人车协同控制 多模态HMI是自动驾驶汽车向人传达控制权接管请求(TakeoverRequest, TOR)的首选方案[49]，可用于满足自动驾驶汽车中控制权转换及人车意图交流的新需求。Clark等[50]建议将声音与头部上方的界面助理相结合，构成汽车控制权移交任务中的多模态视觉注视引导模式;Terken等[51]将人机共驾作为前提，建立了基于视觉、听觉和触觉的多模态人机界面，在不干扰非驾驶活动的情况下传达车辆意图的信息，提升人的态势感知，加强人车协同性。

(3)多角色交互和多任务处理 为加强驾驶员与副驾驶员的互动，Jiang等[52]设计了一种融合语音接口、车载中控、智能手机和抬头显示导航的“多屏—多模态”交互模型，方便驾驶者进行多任务切换，提高了汽车的社交度、信息流和决策效率。2019年CES展上，现代发布了MOBIS概念舱搭载了智能多模态人机界面，用以开展各类非驾驶活动，满足乘客的休闲娱乐需求。

智能多模态人机界面在车内有良好的应用价值，但在底层技术上仍存在诸多挑战。车内不断增多的人机接口、用户类型和交互场景对系统提出了更高的智能化要求。车载交互系统通过融合多源异构数据，结合RNN[53]、LSTM网络[54]、张量融合[55]或多峰融合算法[39]等方法，处理多模态交互信息融合中的时序信息，从而解码复杂的交互输入信息，识别操作意图[56]。

2.2.2 空间立体交互

空间立体交互依赖于三维交互界面(3D User Interface, 3DUI)，用户与三维空间的界面元素进行交互，提升了人机交互的自然性。3D显示(3D Displays)、增强现实(Augmented Reality, AR)、体感交互、隔空手势交互和虚拟投影等空间立体交互技术为ICV人机交互提供范围扩展的可能性。车载交互突破了中控仪表等固定、实体边界，从二维空间扩展到三维空间，平视显示屏(Head Up Display, HUD)、挡风玻璃和车内空间将成为新的人机交互区域。

空间立体交互的视觉显示方面，AR是常用技术之一。AR能将真实世界的车辆信息和虚拟世界的交互信息“无缝”集成，从而达到超越现实的感官体验。车载导航是其主要应用场景，用以增强时空信息呈现效果[57]。基于挡风玻璃显示屏(Windshield Displays, WSDs)的车载AR所形成的场景画面可有效传达深度与距离信息，有利于呈现车辆情境及弱势道路使用者信息，增强人的态势感知能力，提高系统透明性。在协作式智能交通系统(Cooperative, Intelligent Transportation Systems, C-ITS)的可视化中，WSDs可用于呈现动态交通信息[58]。产业界已将空间立体交互显示投入使用，日产研发的无形可视化(Invisible-to-Visible, I2V)技术是基于车联网、云服务，结合车辆外部传感器信息与来自云端的车辆内部信息，绘制车辆周围360度虚拟空间信息图示，实现道路和交叉路口状况、能见度、道路标识或附近行人等的可视化显示，并在车内投影虚拟人物与驾驶者互动，极大提升了车载交互的智能化使用体验。

为满足空间立体交互输入的需求，学术界和产业界已展开相应技术的研发。融合隔空手势交互、语音交互和凝视交互等输入方式，形成更直观、自然的车载立体交互输入接口。结合头戴式显示器(Head-Mounted Display, HMD)、3D显示器和全息投影仪，可在车内形成空中“3D-AR”人机界面。奥迪在2019概念车AI:ME中搭载了和三星联合开发的“3D-AR”抬头显示系统，车内用户可通过凝视交互实现指令输入。手势解决方案公司Leap Motion在2020年CES展示了一款“AR+手势识别”汽车界面，结合了Magic Leap One头显、Ultraleap隔空手势模块和瑞士Luxoft软件技术，建立了实用的空间立体交互技术方案。

2.3 新兴车载智能单元

2.3.1 沉浸式智能交互

沉浸式智能交互技术能结合车辆实际运动情况大幅度增强车载娱乐体验，“HMD+3D”车载娱乐系统具备全身输入的直观性、自然性和直觉化优势，为用户提供有趣的娱乐方式和新奇的感官体验。研究表明，自动驾驶情境下，基于“HMD+3D”的沉浸式车载娱乐系统体验更佳[59]。因此，在中高级自动驾驶汽车内接入头戴式显示器建立虚拟现实媒体环境，并融合视觉、听觉和触觉多模态人机交互，所形成的沉浸式智能交互技术是满足驾乘途中日益增长的娱乐需求的有效手段。

HMD已经实现了低成本的宽视野VR体验，现有技术能依托汽车运动平台，通过执行器为人提供运动感，使视觉图像、动作与环境同步。借助汽车的物理运动感，增强环境反馈输出，将VR与汽车运动融合，从而建立主动虚拟驾驶系统、被动虚拟驱动系统或内容播放器系统，形成极具真实感和沉浸感的驾乘体验[60]。

但在此方式下，人的动作会受限于车辆运动情况，若要在车内展开更自由的娱乐活动，存在一系列挑战：①受汽车运动影响，HMD的惯性测量单元(Inertial Measurement Unit, IMU)和跟踪传感器数据在传感融合时产生冲突，为降低汽车旋转运动对HMD传感器的影响，Hock等[61]将车辆和VR内容进行运动匹配，通过HMD显示屏上显示的汽车运动提示来补偿头部旋转或车辆旋转，减弱车辆运动对HMD显示的干扰；②若车辆实际运动与VR虚拟视场感知不一致可能会造成晕车等负面体验。因此，感知校准成为丰富车内VR应用程序和娱乐内容的技术前提，Haeling等[62]将HMD与车辆传感集成，利用车辆内部的先进定位算法提取准确的车辆姿态，基于“HMD-IMU”融合的传感器，构建了无感知冲突的车内VR沉浸式交互体验。未来，随着技术不断地突破和精进，车内空间将提供更丰富和自由的沉浸式智能交互。

2.3.2 人工智能助理

人工智能助理是一种利用AI、NLP以及网络互联的软件。车内的人工智能助理嵌入在智能辅助系统中，具备自主、敏感、反应性、目标导向、沟通性和上下文关联的智能化特征[63]，以拟人化语音界面、虚拟图像或实体机器人的形式出现。市面上现有辅助驾驶伙伴、虚拟车载助手、车载智能机器人、车载信息娱乐助手等产品。目前，许多汽车厂商自主研发了车载人工智能助理系统，基于城市物联网，可连接位置信息、地标信息、日历信息等多种数据，提供交通生活服务。2017年，丰田推出了迷你车载智能机器人Kirobo mini，该机器人能协助信息通讯和旅途数据管理，通过识别手势和人类情感来记录个人偏好数据，实现主动学习，提供个性化推送;2018年，蔚来首次将NOMI机器人应用于量产车，形成汽车人工智能系统的拟人化人车交互界面，赋予汽车生命和情感特征;2019年CES展上，丰田发布的一款全新概念车Concept-i搭载了虚拟车载助理Yui，能够扮演副驾驶员的角色并学习驾驶员知识，提供旅途指南和服务。

目前，除了满足出行刚需，在面向娱乐需求时，如何提供连续可用的语音输入接口和无缺陷系统，建立反应性的或独立主动的车载信息娱乐助理成为开发的关键点[64]。此外，随着信息和通信技术日益普及，汽车通过与目前常见的个人移动终端中搭载的智能个人助理(Intelligent Personal Assistants，IPAs)互联，能够将移动端娱乐服务和驾驶辅助功能移用至车载系统，从而充分利用个人移动终端，丰富车载交互场景。未来，ICV有望与多种智能化助理系统互联，实现功能和服务的全面拓展。

3 智能网联汽车人机交互关键问题及其相关技术

ICV人机交互发展的主要驱动力来自于人与技术的深度融合，研究与之相关的科学问题具有前瞻性和带动性。ICV概念存在时间短，现有汽车人机交互研究文献通常针对自动驾驶情境、自主式智能汽车、智能交通、网联车、自动道路运输系统等与ICV有关的领域，直接以ICV人机交互为对象的研究相对不足。通过整理及分析上述领域多个学科的理论研究和应用研究文献，总结出ICV人机交互要解决的关键问题：ICV技术接受度、ICV人机交互质量、ICV驾乘体验。进一步地，以问题为导向，基于ICV人机交互技术研究和应用现状，分别指出对3个关键问题产生作用的人机交互技术及具体作用方式。ICV人机交互关键问题及相互关系如图3所示。

3.1 ICV技术接受度

新兴技术的推广首先要经历大众对技术采纳的考验。现阶段人们对新型自动化汽车的接受度、购买意图和使用意图较低[65]，但态度转变趋于积极[66]。然而，能否大范围采用ICV，将人类控制权交给智能交通系统，仍是存在争议的问题。诸多因素阻碍了驾驶员接受和采用新兴汽车技术(ADAS、高精导航系统和5G车载互联通信等)。一方面，个人特征[67-69](人口统计学特征、驾驶技术、驾驶经验和收入情况等)、人为因素(舒适度、适应性等)[7]、人格特质[70-71]等内在因素起重要作用。例如，驾驶者对ADAS功能稳定性的担忧，对方向盘和脚踏板等传统控制元件的心理依赖[72]，对自动驾驶车辆安全性的不信任[73]。同时，驾驶乐趣的缺失亦会导致驾驶者拒绝自动驾驶功能，这一心理需求可通过其他类型的车内场景互动来弥补[74]。另一方面，社会影响[75]、产品特性[76]等外在因素也影响ICV技术接受度。Zhang等[77]在研究中指出，结合我国社会及文化特性来看，正面舆论及政府引导等社会影响因素，可为促进ICV的接受提供积极力量。

影响技术接受度的产品特性因素与ICV人机交互关系密切。Arndt[76]指出人车互动中产生的产品特性感知和行为变量等因素将影响人对自动驾驶这一颠覆性创新技术的接受意愿。从汽车人机交互角度，基于信息交互领域常采用的计划行为理论(Theory of Planned Behavior, TPB)、技术接受模型(Technology Acceptance Model, TAM)和整合型科技接受模式理论(Unified Theory of Acceptance and Use of Technology, UTAUT)等理论模型[78-79]，总结出影响ICV技术接受度的主要因素：感知易用性(Perceived Ease of Use, PEOU)、感知有用性(Perceived Usefulness, PU)、人车信任。

(1)感知易用性和感知有用性

PEOU指个人对使用新技术难易程度的看法，PU指个人认为使用该技术将提高工作绩效的程度。Madigan等[80]研究用户接受自动道路运输系统(Automated Road Transport Systems, ARTS)的因素，指出车载信息系统的PEOU和PU与车辆人对自动驾驶技术的使用意图密切相关;Buckley等[81]运用TPB和TAM评估驾驶员执行模拟驾驶任务后对AV(SEA3级自动驾驶车辆)的接受度，结果表明PEOU影响使用意图;Danner等[82]指出自动驾驶模式下车载信息系统使用体验的连续性与PU和PEOU的关联;徐志刚等[83]通过实地实验及心理模型来解释和预测人们对L3级别自动驾驶汽车的接受程度，结果表明PEOU、信任度和感知安全性是参与者使用意愿的积极预测因素。

影响PEOU和PU的外部变量包括系统设计特征、用户特征(包括感知形式和其他个性特征)、任务特征、政策影响等。具体而言，PEOU与自我效能有关，受到ICV车载交互系统是否容易使用、是否比传统汽车操作简单、是否需要特殊训练等情况的影响；PU主要受出行便利度、非驾驶活动时长、有无障碍、体力消耗、精神疲劳等因素的影响。使用场景相较于过去发生突变后，ICV车载交互中需考虑上述因素对PU和PEOU的影响，避免引发人的怀疑、抵触和拒绝使用等负面效应。

(2)人车信任

任何自动化系统的大规模采用，都要先建立高度信任[84]。目前已发现对系统缺乏信任是司机拒绝使用车辆自动化系统的最常见原因[67]。因此，为促进公众对ICV及其智能自动化系统的接受和采用，需重视信任因素。Choi等[85]基于TAM和信任理论建立了自动驾驶汽车使用意图模型，提出AV信任的3个维度，分别是：系统透明性(System Transparency)，技术能力(Technical Competence)和情况管理(Situation Management)。Walter等[86]指出CV的车载互联服务中隐私性对信任的影响会干扰用户接受度。在一项最新的研究中，Zhang等[77]以中国社会为对象建立了整合TAM结构、信任、社会影响及人格特质的自动驾驶接受模型，并建议尽快建立人对自动驾驶技术的初始信任。这项研究指出早期消费者意见对新技术的成功推广是至关重要的。在我国ICV发展和推广的初期阶段，首批用户的初始信任，对提升ICV社会认可、促进交通系统全面智能化转型有重要意义。此外，在避免信任不足(Distrust)导致ICV技术接受度降低的同时，要警惕系统表现不实而引发的过度信任(Over Trust)[87]，造成监管意识不足和执行错误，以形成人车间良好协同性所需的适度信任为目标。

(3)相关技术

目前，ICV使用的主流自动驾驶模式是人机共驾，相当于SAE 3级到4级自动驾驶。为向手动驾驶特性更弱的高度自动驾驶和完全自动化平稳过渡，ICV人机交互技术需通过改善PU、PEOU和人车信任，提高技术接受度，具体人机交互技术及其作用方式如图4所示。

3.2 ICV人机交互质量

衡量系统人机交互质量高低的重要指标是可用性，汽车HMI可用性是对汽车人机交互质量的描述，可用性评估[88]是测量人机交互质量的规范化方法。根据ISO9241-11标准[89]，可用性概括为有效性、效率和满意度3个方面。作为人机交互质量的基本问题，关于网联化、智能化的车载人机交互系统可用性已有大量研究[7]，并形成了评估协议和设计规范[90-91]。

目前，可用性已经不足以概括ICV人机交互质量。分析国内外文献，归纳出ICV人机交互质量的3个重要维度，分别是：人机交互自然性、人车协同控制、态势感知。

(1)人机交互自然性

近年来，人机界面越发强调自然性[92]，即用户的交互行为与其生理和认知的习惯相吻合[93]。车载环境下，自然有效的人机交互不仅可以改善驾驶体验，还可以加速无人驾驶汽车的商业化进程[94]。

为满足自然性的要求，人机自然交互(Human-Machine Natural Interaction, HMNI)成为当下热门研究方向。HMNI是指人通过手势、表情、动作进行自然交流，通过观察和操纵物质来发现世界，允许用户采用日常与现实世界交互的方式与技术进行交互[95]。现有人机自然交互的常见方式包括触屏交互(Touch-screen Interaction, TI)、语音交互(Verbal Interaction, VI)、手势交互(Gesture Interaction, GI)和系统主动交互(System-initiative Interaction, SI)等。自然人机交互在车载环境下的主要贡献是解决用复杂人机接口完成简单任务的痛点，占用的认知负荷较低，且有助于开展非驾驶活动。张茫茫[96]认为基于自然交互的多通道交互模式是未来汽车人机交互的主要方式，把智能化融入使用者与汽车更自然的伙伴关系之中，将实现情感化的交互体验。为了探索人在车内如何基于多通道界面展开自然人机交互，王瑞等[97]以人机自然交互为对象，通过用户行为分析，归纳出不同智能汽车的多通道界面交互方式的特点。

国内外自然人机交互研究领域积累了大量成果，但鲜有在车载环境下讨论人机交互自然性，尤其是以ICV为对象的研究。ICV人机交互自然性的现有少量研究成果集中于手势交互和语音交互方面。例如，Stier等[98]研究了影响自适应车载语音对话系统自然性和可理解性的潜在因素;Ling等[99]探讨了车载移动导航应用中多模态人机界面如何影响交互效率和自然性。但在脑机接口、三维人机交互方面仍有较大的研究空白。未来，为了提升系统准确理解自然用户意图的能力，车载交互系统的传感器、执行单元以及叙事智能依然是工程师和科研人员的主要研究课题。

(2)人车协同控制

人车协同或人机共驾是ICV的主要控制方式，其中ICV车载交互系统负责的关键环节为人机控制权转换。ICV人机控制权转换分为接管和移交两方面。接管指汽车系统将控制权交给驾驶员；移交指驾驶员将控制权转交给自动驾驶系统[100]。

ICV控制权接管时，车辆物理和认知控制回路外的驾驶员需处理系统接管请求(Takeover Request,TOR)。低下的驾驶接管任务绩效会导致安全风险，而高效、安全完成接管任务能促进良好的人机交互质量评价。接管任务绩效指标有反应时间[49]、接管时长[101]、无事故[102]、任务成功率[102]和满意度[49]。ICV车载交互系统在建立驾驶接管任务时需要充分考虑驾驶员状态[38]、TOR指令模态[103]、行车场景等因素。当用户处于主动分心[101]等不适合立刻接管的状态时，系统应发出模态适用(单模态或多模态)的指令信号，提供更长的接管等待，或使用提示信息填充接管过渡时间。

针对控制权移交，Ning等[104]研究了21种自动驾驶模式激活(移交)方式，指出激活方式对可用性评价的影响，给出6种推荐的自动驾驶激活方式;Danner等[82]指出在激活自动化时提供自动驾驶功能的时限信息能改善系统透明度，提高人对系统可用性评价和接受度。ICV的自动驾驶系统启动后，人将产生相应的安全感知和情绪体验，其给出的正面质量评价源自良好的系统依赖与信任度。

(3)态势感知

态势感知(Situational Awareness，SA)的定义是对时间和空间内的环境元素的感知，对其含义的理解以及对其近期未来状态的预测，被认为是个人绩效的重要因素[105]，分为感知、理解和预测3个级别。ICV中，SA直接或间接影响用户的其他行为和态度因素：接管与移交任务绩效、人机交互质量评价及人车信任(系统透明度和情况管理)。低态势感知水平将造成过长的移交过程、不信任感以及糟糕的用户体验。因此，ICV车载交互系统需辅助SA的建立和维持，确保人能够感知和理解车内外状况并预测未来情境演变，比如位置信息、道路场景状况、未来需要执行的操作(加速、制动、接管、移交、应急处理)等。良好态势感知源于高质量的人车信息交互，设计不良的ICV车载系统会造成实际操作过程与预期的差异[106]，减弱态势感知、引发模式混乱，甚至导致危害ICV安全性和可靠性的人为错误执行。此外，有研究表明态势感知能减轻或避免一些不可控的负面体验，例如自动驾驶引起的晕车[107]等。

(4)相关技术

多种汽车人机交互技术发挥各自优势，从而共同建立高质量ICV人机交互，具体技术及其作用如图5所示。其中智能多模态人机界面作为目前车载交互的主流模式，可同时解决3个方面的问题。

3.3 ICV驾乘体验

随着丰富多彩的生活化场景大量进入ICV，车载交互系统除了达到可用性目标，在体验上还应具备富有美感、令人愉悦、满足用户情感等品质[108]。体验的ISO 9241-210定义为：用户在使用一个产品、系统或服务之前、使用期间和使用之后的全部感受，包括情感、信仰、喜好、认知印象、生理和心理反应、行为和成就等各个方面[109]。

积极的情感态度、愉悦感和有趣的旅程体验不仅是智能时代下用户的迫切需求，还是实现ICV技术接受的保障[110]。因此，私人乘用ICV和智能网联公共交通车辆的用户体验[111](User eXperience, UX)逐渐成为备受关注的话题。通过分析国内外ICV驾乘体验研究文献，发现ICV驾乘体验研究显示出从以个人到群体的递进层级，具体问题包括个性偏好、智能社交与娱乐、车载互联服务，以下分别进行阐述。

(1)个性偏好

随着汽车个性化概念的提出，如何适应不同用户在体验上的个性偏好[112]成为ICV人机交互的重要问题。Grabarek等[113]为同时满足身体健全者和行动不便者的体验要求，基于“生态汽车”和HMI标准化的概念，提出了一种可设置HMI参数的城市交通系统概念;Riegler等[58]研究了人在自动驾驶中对挡风玻璃显示屏的偏好，得到挡风玻璃显示屏最重要和最显著使用的区域;Zhang等[114]全面考虑了智能交通服务中的用户个性化行为，提出了一种基于多方面感知会话的推荐模型;Wiegand等[10]以促进车载信息交互的个性化和多样化为目的，研究了自动驾驶汽车3D-AR应用的设计空间。个性化体验来自于动态的人机交互过程，是传统汽车的静态定制化模式不能完全满足的需求，起亚与麻省理工学院媒体实验室的情感计算小组共同开发了情绪自适应驾驶系统(The Real-time Emotion Adaptive Driving system, R.E.A.D.)，基于AI的生物信号识别技术来检测人的情感，优化车内温度、香气、音响、灯光等，适应个性需求，创造“更愉悦的移动体验”。此外，有研究指出定制化和高度适应性汽车能帮助解决目前ASAD使用率低的问题[115]。因此，除了提升体验本身，车内个性化功能还对ICV技术接受度有促进作用。

(2)智能社交与娱乐

“人工智能+”的时代背景下，人们越来越关注有趣且新颖的车内娱乐交互体验[116]。当代消费者期望车内可以提供放松的环境、更多显示端口、车与移动设备的接口，并且对联网社交接口提出需求[117]。为丰富自动驾驶下的智能化娱乐活动，研究者对基于VR-HMD的沉浸式媒体在车载交互中应用展开了广泛研究[59，61]。随着自动驾驶级别的提升，为同时满足社交和娱乐需求，车载娱乐场景还将从以驾驶员为中心的小范围活动扩展到多人娱乐甚至跨车娱乐，发展出“跨车”多人游戏的场景[118]。

目前，各汽车厂商通过搭载各类智能化车载社交娱乐系统来适应需求的变化和增长，将多模态、多区域、多角色和多任务的概念引入到车内信息娱乐系统(In-Vehicle Infotainment, IVI)，使IVI贴近先进移动智能设备的用户娱乐体验[119]。然而，目前的产品并不能完全满足需求，如何解决人对智能化车载社交娱乐体验的需求，是ICV人机交互待解决的问题。

(3)车载互联服务

车载网络和下一代通信技术会进一步增强ICV的联网通信能力，为ICV提供多样化车载互联服务奠定基础，为车载互联服务所需的稳定媒体流质量提供保障。用户将体验到更流畅的智能互联服务流程，包含身份识别、信息验证、指令提交和服务付费等环节。多元、优质、高效的ICV车载互联服务将为个人及整个交通系统中的用户群体提供位置通勤以外的体验价值。市场上现有智能系统已搭载了较多车载互联服务，例如小鹏汽车2018年推出的X-MART OS车载智能操作系统，搭载了旅程管理、便捷生活、车载娱乐等服务功能，奔驰公司的MBMUX系统(2019)提供了旅程管理和车辆位置服务。

除了与位置信息相关的旅程管理、车辆维修、寻位停车等车载互联服务及在线购物、订餐、观影等生活服务，汽车共享也是ICV可提供的互联服务。在具体使用场景中，汽车共享是通过数字技术实现的增值服务；在行业大环境中，汽车共享可延伸到共享汽车制造和共享出行解决方案等生态系统问题，常被归类到“工业4.0”或“中国制造2025”范畴。

未来，行业内需进一步解决ICV车载互联服务类型覆盖、服务系统建设和服务体验优化的问题，考虑如何将舒适性、可信性、趣味性和用户友好性联系起来，帮助用户更好地接受、适应和使用复杂繁多的车载服务，并且在宏观交通产品系统上搭建服务体验生态。

(4)相关技术

基于上述对ICV驾乘体验的分析，以全面升级其驾乘体验为目标，沿袭从个人到群体的递进层级，总结出个性偏好、智能社交与娱乐、车载互联服务3个方面的相关人机交互技术及作用方式，如图6所示。

4 智能网联汽车人机交互的发展展望

ICV作为我国汽车发展的主流模式，其人机交互设计的发展在借鉴传统汽车和国外相关技术发展的基础上，将形成其自身的发展方向与发展阶段。目前，在产学研界均形成了面向ICV的局部人机交

互技术的落地与实施，但并未形成其发展的完整理论。本文基于ICV发展的技术接受度、人机交互质量和驾乘体验3方面挑战，以实现人与技术深度融合为目标，整合各挑战间的共性，提出了ICV人机交互发展的3个方向：效用优化、体验重构和价值增益，这3个发展方向在各自发展的前提下形成“功能—体验—价值”的层次关系。ICV人机交互发展展望的具体内容如图7所示。

(1)效用优化

ICV人机交互中技术接受度和人机交互质量两方面挑战依赖于人对效用[120]的理性判断，效用的优化通过质量水平和产品特色等得以实现。从ICV自身而言，前沿科技起重要推动作用，通过5G、AI、大数据、云技术与用户普适需求的深度融合，全面提升ICV人机交互的底层技术性能、系统可靠性和操作品质，赋能ICV人机交互创新发展。未来，随着类脑智能技术充分发挥其增强ICV多维感知、全局洞察、实时决策、持续进化等认知方面的潜能，利用云端的超强计算能力和AI技术，将构建基于类脑信息认知与处理手段的超级车载智能终端和云边端一体化的智慧交通大脑。同时，类脑计算在语音识别与合成、文字识别、人脸识别、脑机接口技术(Brain Computer Interface, BCI)[121-123]等方面的应用，将促进ICV人机交互技术性能的飞跃与提升。从宏观环境来看，国家政策扶持和政府进一步开展积极促进型干预，依托我国在大数据、应用场景、政策环境等方面的巨大优势，大规模推动人机交互技术深度应用，将有利于形成正向的社会影响，改善消费者的采纳效用，夯实基础，加快我国ICV的广泛接受和普及化进程。

(2)体验重构

体验重构是ICV人机交互在工作效率和使用性能等效用层面以上的更高层次发展需要，源自ICV技术接受度与驾乘体验中直觉化、情感化因素的交融。设计学科[124]作为体验重构的核心驱动力量，将进一步致力解决我国在原创理论及创新应用的缺口，从而充分把握汽车产业在体验经济浪潮下跃迁变革的机会窗口。短期来看，以需求为导向，应用为驱动，在创新设计中包容用户个性、重视细节体验，将赋予ICV以易学易用、富有美感、令人愉悦的交互体验品质。长远来看，重新定义ICV人机交互的感官美学与体验，营造积极的情感态度和有趣的旅程体验，有助于缔结人与车之间的情感联络与情怀意识，建立人车信任及人车伙伴关系，从而促进人的主动积极接受及产品的广泛认可。

(3)价值增益

在实现ICV推广与普及后，突破以车载任务与体验等为核心的微观交互场景，融合人机交互质量与驾乘体验，增益附加价值，成为更高层次的发展要求。为实现价值增益，需进一步发挥产业驱动力，调动全行业参与，催化开放式模式创新，形成服务创造与生态扩展的产业全景。为满足下一代ICV用户及其细分市场的差异化价值需求，“中国制造2025”和“工业4.0”提供了创新思路，集合物联网、大数据、用户偏好[125]建模、软硬件个性定制、汽车全生命周期管理等概念，以产业联动和学科交叉赋能全民出行的价值增益。同时，致力自主品牌建设，提升品牌实力和建立品牌价值认同，将有利于增强本土发展实力，进一步开辟我国汽车产业以价值为导向的全面转型。

5 结束语

目前，汽车行业已呈现出日新月异的变化，各国都以车辆的智能化和网联化作为抓手，抢占行业制高点。根据《中国制造2025》提出的发展目标，我国将于2020年初步建立智能网联汽车自主研发体系及生产配套体系。随着汽车产业发展和升级，ICV将成为大众生活中的新一代交通工具。在新一代ICV人机交互系统研发中深度融合前沿人机交互技术，把握人与科技融合的发展方向，才能更好地服务于人。

本文从信息识别、车载多维人机界面和新兴车载智能单元3个方面，总结了人机交互指令识别、状态识别与检测、智能多模态人机界面、空间立体交互、沉浸式智能交互和人工智能助理技术的研究成果及车内应用现状。对多学科文献展开研究，总结和阐述了ICV人机交互3个关键问题，明确了ICV当前发展阶段工作重点，并指出技术如何对ICV人机交互的发展起到积极作用。结合ICV人机交互关键问题，从效用优化、体验重构和价值增益3个层次对ICV人机交互进行了发展展望。本文全面地分析了ICV人机交互研究中的问题，但值得反思的是，具体问题的思考深度上有所不足，今后将从各个问题点出发进行深入探索，以建立更深刻的认识。