顾鸿良,朱文华,蔡 宝,孙张驰

(上海第二工业大学 工程训练中心,201209上海)

0 引言

混合现实技术(Mixed reality)是虚拟现实技术(Virtual reality)[1]的进一步发展。它是技术组合,不仅提供了新的输入方法,还提供了新的虚拟影像的呈现方式。该技术通过混合现实眼镜等硬件设备,在用户看到的现实场景中叠加虚拟场景的信息,在现实世界、虚拟世界和用户三者之间,搭起互动和反馈的信息回路,实现虚拟场景和现实环境相结合的使用体验。

对于虚拟现实技术在工程训练中的应用,国内外已多有探索和研究[2]。本文借鉴前人在虚拟现实方面的研究成果[3],在减速机拆装教学课程中,结合增强现实技术,利用混合现实眼镜实现虚拟信息和实物拆装操作相融合的训练过程。通过构建丰富的交互方式和交互反馈,达成多感官沉浸的学习体验,提高学生的思考能力和实践能力,同时也为学生提供主动探索和互动交流的机会。

1 技术路线介绍

将混合现实技术应用于虚实结合的工程训练中的技术实现路线如图1所示。

图1课题研究的技术路线Fig.1 Technical roadmap of the research

实现步骤如下:

(1)画面采集。通过混合现实眼镜上的摄像机采集用户对现实世界的视觉画面,将画面数据传递给眼镜中的增强现实引擎进行处理。

(2)标识定位。通过增强现实引擎对采集画面中的“标识图”(本案例为贴在减速机轴承端盖上的校徽图标)进行特征识别。根据标识图的大小和变形等特征,推算出现实中标识图相对于摄像机的位置和角度,从而定位设备整体的位置和角度,并计算出设备每个零件的位置。……