孙庆伟，晁建刚，陈 炜，杨 进，林万洪，许振瑛，张洪波

(1.国防科技大学空天科学学院，长沙410073；2.中国航天员科研训练中心，北京100094)

1 引言

在航天员地面混合现实训练中，为了辅助航天员进行空间场景理解并指导操作训练任务，需要对地面航天飞行训练场景进行三维重建。以往的做法是通过三维绘图软件对整个场景进行构建。这种做法需要提供全部CAD模型，耗费大量时间，效率低下，在紧急情况下无法采用。

通过实时三维重建的技术，可以将训练场景进行扫描并快速重建，满足紧急情况下混合现实的需要。但舱内结构错落复杂，传统三维重建技术结果较为粗糙，重建结构为整体空间，不利于混合现实操作。通过语义三维重建技术，将重要部件进行分割并赋予语义信息，构造出能够智能理解的虚拟结构。借助混合现实技术，重建模型可以增强在不同工作场景，航天员可以沉浸在与实际场景高度逼真的工作环境。这种方式可以省去建造模拟器所需要耗费的人力财力，针对不同环境可以快速建模并投入使用，并且三维模型可以进行移植，满足多名航天员同时训练的需求。

针对航天器舱内场景语义重建，SemanticFusion的思路是:结合卷积神经网络(Convolutional Neural Network，CNN)与三维重建，在每一个三维空间点上存储语义信息；CNN作为数据驱动的分割方法，可以较准确的获得每个像素点的语义类别概率，即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)过程会获得图像的位姿，利用位姿将二维语义信息映射到三维空间；……