航天员舱外活动虚拟现实训练系统研究

2022-11-09陈学文孔祥杰晁建刚

载人航天 2022年5期

陈学文，张炎，黄鹏，赵阳，孔祥杰，晁建刚

(中国航天员科研训练中心人因工程重点实验室，北京 100094)

1 引言

航天员在执行航天任务前需要进行大量的训练，针对不同的训练内容，采用合适的训练设备非常重要。出舱任务舱外作业训练目前多在模拟失重水槽中进行，是国际上普遍采用的主要训练手段[1-4]。其可近似模拟人在太空的失重运动特性，使航天员在模拟失重环境、着舱外服工况下，认知舱体、航天员、机械臂的相对关系，并完成实物操作训练。训练时，地面保障人员把空间站部分舱体、机械臂放入水槽中，航天员穿着水下舱外训练服，依据作业需求调整服装使其接近在轨作业姿势的悬浮状态(重力与浮力相等)。受水槽尺寸限制、重力等影响，为了便于操作，需要保障人员转动舱体，作业点始终在舱体的两侧或正上方。当需要从一个作业点转移到另一个作业点时，机械臂上的航天员和舱壁上航天员，转移路径与在轨任务差异较大。整个训练过程一般需要按照作业剖面对航天员的操作进行分解，分场景片段式进行，很难连续不间断地进行一次完整的舱外作业任务，且训练过程需要大量人力物力保障，耗时时间也非常长。

除了模拟失重水槽外，虚拟现实(Virtual Reality，VR)技术在应用到航天领域时，具有独特的优势，能够突破物理环境限制，可以在地面条件下逼真模拟失重环境下三维太空作业场景，快速构建各种应急场景，有效弥补实物、半实物等地面训练设备的不足，可作为实物训练方式的补充，同时，也可应用于科学研究及工程验证。

20 世纪80 年代以来，NASA 首先开展了虚拟现实技术及在载人航天任务中的应用研究，研发了6 代虚拟现实头盔及虚拟现实仿真系统，用于外太空环境适应与空间站环境熟悉训练、哈勃望远镜维修训练、舱外自我营救的SAFER(Simplified Aid for EVA Rescue)训练以及其他舱外活动任务训练[5-7]；20 世纪90 年代俄罗斯、欧空局、日本、加拿大等相继开发了虚拟现实训练系统，包括空间站舱内环境熟悉和空间定向训练[8]、国际空间站舱内外设备布局训练[9]、机械臂操作训练[10]等。陈学文等[11-12]也进行了虚拟现实相关技术研究，建立了面向SZ-7 任务航天员出舱活动的虚拟现实仿真系统和面向空间实验室阶段天宫实验舱的舱内外环境熟悉系统。

面向空间站航天员舱外作业训练需求，本文利用虚拟现实技术，创建逼真的空间站舱外作业任务场景和空间站、机械臂及地球星空等运动仿真，实现舱外作业虚拟现实交互操作仿真，形成一个与真实舱外作业任务视觉感知一致、操作感知近似、听觉感知一致、运动感知近似、人在回路的多人虚拟现实训练系统。

2 系统仿真架构

航天员舱外作业是高风险任务，通常一个乘组包含3 名航天员，其中2 名航天员在舱外由机械臂辅助和自主爬行至作业点，1 名航天员在舱内负责监视和操控机械臂，3 名航天员协同完成舱外作业任务。利用虚拟现实技术实现3 名航天员出舱活动仿真及协同训练。

虚拟现实训练系统组成如图1 所示，包括生成各视角图像的虚拟现实仿真、工程数据仿真、训练进程控制、训练信息数据库、提供虚拟场景观察及交互的虚拟现实头盔和手柄、实现训练信息显示及通话的视频通话系统、实现机械臂操控与监视的机械臂操作台等。

图1 虚拟现实训练系统组成原理Fig.1 Composition of virtual reality training system

舱外航天员佩戴虚拟现实头盔(已集成耳麦)和手持手柄，实现虚拟场景的观察和交互操作。舱外活动虚拟场景由虚拟现实仿真软件生成，包括空间站及舱外作业设备、机械臂、地球、星空和虚拟航天员等，虚拟场景中空间站的飞行数据、飞行轨道、飞行姿态、帆板转动角度、机械臂运动等数据由工程数据仿真提供。为逼真模拟航天员舱外作业过程中听觉，由虚拟现实仿真软件实现舱外服风机噪声、报警声等模拟，并实现训练时教员与航天员之间通话传输，或任务演练时地面指挥、机械臂操作者和出舱航天员之间通话传输。由视频、通话系统实现音视频的传输。

虚拟现实仿真软件根据虚拟现实头盔和手柄的跟踪数据，为每名虚拟现实头盔佩戴者实时生成各自第一视点图像，包括航天员1VR 视角、航天员2VR 视角和辅教VR 视角；为方便在显示器上任意视角观察三维场景，由虚拟现实仿真软件生成一个辅教第三视角图像，通过鼠标键盘控制视点位置和观察方向。

舱内航天员使用机械臂操作台对机械臂监视和操作，该设备与虚拟现实训练系统通过网络实现远距离数据、语音和视频互联。整个训练过程统一由训练控制软件实现过程控制，包括训练开始、训练结束等，并把相关训练数据存储到训练系统数据库中。

3 关键技术

3.1 基于空间站任务的三维场景建模与渲染

空间站舱外作业虚拟场景对象包括空间站、机械臂、舱外作业工具和设备、着舱外服航天员、地球、太阳及星空等，空间站及太阳的方向、相对地球和太阳的位置关系以及机械臂按照任务实际进行动态运动。为了实现逼真在轨视觉画面效果，且满足实时性要求，使用基于物理的渲染方法(Physically Based Rendering， PBR)创建和渲染场景对象，即把渲染流程和基于材质物理属性的离线渲染贴图结合起来，有效解决了交互实时性与画面渲染耗时的矛盾。

根据素材建立尺寸、结构准确的三维几何模型，为了减少面片数量，降低虚拟场景渲染负担，提高渲染速度，采取以下措施:

1)只建立表面视觉可见的几何结构，对于独立运动部件单独建立几何结构；

2)建立低精度和高精度两套模型，高精度模型用于烘焙高精细的贴图。在虚拟现实仿真中使用低精度模型，并贴上高精细贴图，实现视觉上高精度。例如，对于无需操作的螺钉、孔洞等结构，可以使用高精度贴图体现。

对低精度模型进行UV 纹理坐标展开、编辑优化处理，对高精度模型按照各部分材质的物理属性离线烘焙出表面纹理，逼真体现物体表面结构细节、高光、金属度和遮罩阴影等，用颜色图、环境遮挡贴图(AO 图)、法线图和金属度4 张贴图表示。在渲染引擎中使用低精度模型，设置高精度模型生成的纹理和材质，并设置空间环境中太阳光和环境光，实时生成逼真的虚拟场景图像，仿真效果如图2 所示，画面逼真，渲染帧速率超过60 FPS，可满足交互实时性要求。

图2 三维场景仿真Fig.2 Simulated 3D scene

3.2 出舱复杂设备的交互操作仿真

出舱任务不同，需要操作的对象也不同，但是每次出舱都需要操作的设备或工具包括脚限位器、舱外操作台、各种把手、航天服安全绳及便携式安全带等，仿真时需要按照实际功能实现每个设备的所有操作，才能逼真模拟出舱过程。在这些设备中，安全绳和安全带不同于其他由刚体组成的设备，由可变形的绳体和特殊结构的挂钩组成，操作包括抓挂钩、往扶栏上挂挂钩、从扶栏上取挂钩、抓拽绳体等。柔性绳体的表达与实时变形仿真方法采用质点-直线-弯曲弹簧模型和基于位置的实时变形计算方法[11]。

3.2.1 柔性绳体交互操作仿真

柔性绳体的形状根据交互操作情况不断变化，同时对其所连接的物体位置和姿态产生影响。例如，挂钩上的物体能够随着安全绳的拖拽而运动、虚拟航天员人体也能够沿着绳体移向扶手等。

柔性绳体交互操作原理如图3 所示。 ①抓取绳索:根据虚拟手与安全绳/安全带绳体节点之间的最小距离，判断是否抓取绳体，如果满足抓取绳体条件，对安全绳/安全带生成固定节点，并与手绑定在一起； ②拖拽绳体:根据绳体节点之间的距离变化，判断绳体是弯曲状态，还是拉长状态，实现绳体的拖拽功能。绳体创建后记录初始距离，在抓住绳子后，计算实时距离。如果该距离大于初始距离，则认为绳体已经拉直(如图3 安全绳拉长状态)，继续拉扯，需要移动人物；如果该距离小于初始距离(如图3 安全绳弯曲状态)，则认为绳索并未拉直，处于弯曲状态，继续拉扯，并移动绳索节点位置。

图3 安全绳距离判断原理Fig.3 Principle of safety rope distance judgment

挂钩自由态、挂钩束缚态、绳体缠绕在扶栏上的仿真效果如图4～6 所示。

图4 挂钩自由态下抓取绳体变形效果Fig.4 Deformation of grabbing rope for free hook

图5 挂钩束缚态下抓取绳体变形效果Fig.5 Deformation of grabbing rope for restraint hook

3.2.2 安全挂钩交互操作仿真

图6 绳体在扶栏上运动受阻后缠绕变形效果Fig. 6 Twisted and deformed rope after being blocked on the handrail

1)挂钩碰撞检测算法和挂钩在扶栏上约束状态判断算法:对挂钩前端离散化结构如图7 所示，边界用规则的方盒子代替，方盒子与扶栏等进行实时碰撞检测。判断挂钩是否在扶栏内，把4个盒子同时设为限制触发器，中间圆柱代表扶栏即障碍物，中空区域为状态触发器。每个限制触发器设计一个朝外的z轴方向，当立柱触碰到某一条边时，无法再朝外运动。在运动过程中计算运动趋势矢量与z轴方向夹角，判断挂钩哪条边与扶栏接触，为碰撞检测后续运动限制提供信息。如果立柱在状态触发器内，则表示挂钩被束缚。在交互操作过程中，只要挂钩前端开口打开，挂到扶栏上后，就使用该规则判断挂钩与扶栏的约束关系。

图7 触发器设置示意Fig.7 Diagram of trigger setting

2)挂钩被扶栏约束后交互操作过程运动处理:算法流程设计如图8 所示，包括物体约束状态的确定、抓取物体判断、运动趋势计算、趋势有效性判断、虚拟手位置和姿态设定等。

图8 挂钩操作处理流程Fig.8 Flowchart of hook operation processing

解决了虚拟与现实交互操作过程中时而一致、时而不一致的问题，既保证了虚拟场景中视觉上一致性，又保证了交互操作自然性，实现了视觉和交互操作的统一。

图9 为挂钩交互操作结果示意图，图9(a)为虚拟手抓住束缚态下的挂钩时虚拟手和手柄重合时情形，图9(b)为虚拟手抓住束缚态下的挂钩往外移动手柄时虚拟手柄和虚拟手脱离、虚拟手保持抓住挂钩时情形。

图9 挂钩交互操作效果Fig.9 Effect of hook interactive operation

3.3 多人协同操作仿真

2 名出舱航天员、辅教等在同一个虚拟场景中工作，出舱航天员需要完成舱外设备的各种操作，操作后物体的位置、姿态、状态、教鞭指向等信息需要在同一个虚拟场景的各个客户端(VR1 客户端、VR2 客户端、辅教VR 客户端、辅教第三视角客户端)进行同步，保证每个设备被任何客户端操作改变后，能够及时、无差错地更新到其他客户端。各客户端之间的同步方法是建立虚拟现实仿真C/S 服务器模式，即各客户端的操作结果数据实时输出到服务器，由服务器把结果数据再输出到其他客户端，同时把结果数据输出到机械臂操作台图像仿真软件中，最终实现虚拟现实仿真各客户端及其他图像软件状态同步。

为了实现设备有序操作，设计控制权并对其统一管理，先操作的航天员拥有该设备的控制权，直至放下该设备并被另外的航天员操作后，才失去该设备控制权，同时另外的航天员拥有该设备的控制权，一个设备不能被2 名航天员同时拥有控制权。

4 应用及评价

该系统已实现了SZ-12、SZ-13 任务全部舱外活动仿真，并应用于航天员训练、舱外协同指挥程序联合演练等。根据SZ-12 任务实际出舱视频和航天员的调查问卷结果，比对分析感知一致性和虚拟现实训练系统的应用价值。

4.1 舱外作业感知一致性比对分析

选择SZ-12 任务出舱活动2 个典型操作:安装扩展泵组和航天员相互拍照，比对在轨操作与虚拟现实仿真效果，部分截图如图10、图11所示。

图10 安装扩展泵组(左:在轨图像，右:仿真图像)Fig.10 Installation of the extension pump set(Left:Image from orbit camera，Right:Image from simulation)

图11 安装扩展泵组后2 名航天员相互拍照(左:在轨图像，右:仿真图像)Fig.11 Taking pictures of each other(Left:Image from orbit camera，Right:Image from simulation)

1)视觉感知:虚拟现实仿真中航天员所观察的对象、数量、各对象大小形状、场景中各对象之间位置关系按照工程实际构建，与在轨一致，实现了虚拟现实仿真视觉感知的一致性。

2)操作感知:虚拟现实仿真实现了被操作设备所有操作步骤，操作动作简单，只需食指扣动扳机的简单动作控制虚拟手完成设备操作，而虚拟手在虚拟环境中操作动作由计算机动态生成，生成的虚拟动作与实际一致。在沉浸式的虚拟环境下，最终实现了视觉主导下的一致性和操作综合感知的近似性。

3)听觉感知:虚拟现实仿真实现了服装的噪声、报警声的逼真仿真，同时具备教员与航天员之间通话功能，在任务演练时承担了地面指挥、机械臂操作者和出舱航天员之间的通话，整体实现了地面训练时听觉感知的一致性。

4)运动感知:在虚拟现实训练中，一名航天员在虚拟场景中搭乘机械臂运动到作业点，一名航天员自主攀爬到作业点，地球、太阳与空间站运动关系按照实际工程逼真仿真，机械臂的运动轨迹、运动速度和控制方式与实际任务一致，实现了空间飞行器运动一致、机械臂运动一致，航天员舱外攀爬运动一致。通过虚拟现实逼真的三维场景渲染和头盔立体三维成像，航天员实现了视觉主导下运动一致性，运动综合感知的近似性。

4.2 航天员调查问卷分析

虚拟现实训练系统研制完成后，由13 名航天员在执行任务前使用并开展问卷调查，部分问卷结果见图12～16。

图12 是舱外作业流程步骤仿真覆盖性的问卷调查，包括4 个选项，8 人选择了“步骤完全覆盖，非常满足训练需求”，5 人选择了“步骤覆盖较好，满足训练需求”。

图12 流程步骤仿真覆盖性问卷结果Fig.12 Results of questionnaire for step simulation coverage

图13 是熟悉舱外作业环境作用的问卷调查，11 人选择“帮助较大”，1 人选择“帮助非常大”，1人选择“有帮助”。

图13 熟悉舱外作业环境问卷结果Fig.13 Results of questionnaire for familiarization of extravehicular operation scene with VR

图14 是舱外作业训练优势的问卷调查，包括5 个选项，8 人选择“空间站、机械臂、航天员等可以按照真实的工程状态在三维空间移动”，10 人选择“作业视觉场景逼真”，10 人选择“安全绳、便携式安全带能够按照真实任务流程参与其中”，9 人选择“参与训练的出舱设备多，且出舱设备视觉和操作真实”，10 人选择“能够实现训练的步骤多”。