扩展现实技术在骨科手术实践及教学培训中的应用研究进展
2021-11-30毛宁波张煜侯雨潇王丽
毛宁波 张煜* 侯雨潇 王丽
(1.西安交通大学机械工程学院,西安 710049;2.北京富乐科技开发有限公司院士专家工作站,北京 101101)
虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)与混合现实(mixed reality,MR)技术可统称为扩展现实(extended reality,XR)技术,已被广泛用于游戏、制造、教育、医学等领域。该技术在医学影像三维可视化、沉浸式交互、信息实时获取及反馈等方面的优势使之在医学领域的应用越来越广泛,特别是在手术规划与手术模拟、医学教育与技能培训中展现出巨大的应用潜力。
由于骨骼解剖结构和生理功能的复杂性,骨科手术风险高、难度大。特别是在脊柱外科、关节外科、创伤骨科、骨与软组织肿瘤、关节镜等手术操作过程中,由于解剖结构复杂、难以辨认,常易造成副损伤。多项研究表明XR 技术已经逐步应用于各种骨科手术的术前规划、术中导航、术后康复、教学培训等环节,包括脊柱外科、关节外科、创伤骨科、骨与软组织肿瘤、关节镜等手术。为缩短手术时间、降低围手术期风险、缩短年轻骨科医师及医学生的培训时间等方面提供了新的方法。
本文对XR 技术的相关概念、相关技术的发展历程进行概述。重点围绕VR、AR、MR 的技术特点,介绍其在骨科手术过程及教学培训等方面的应用情况;针对目前XR 技术在医学领域面临的挑战,提出未来需要解决的关键问题,展望未来在骨科领域的应用前景。
1 XR技术概述
VR、AR 与MR 技术统称为XR 技术,是指广泛运用了多媒体、三维建模、实时跟踪、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,通过计算机将真实与虚拟相结合,为使用者带来感官和认知方式上的沉浸式体验。……
