（上海交通大学机械与动力工程学院，上海 200240）

0 引言

随着计算机图形学和医学影像分析技术的发展，增强现实（Augmented Reality，AR）技术已成为计算机应用领域的研究热点之一，在治疗指导［1］、患者康复［2］、手术导航［3］等方向发展迅速。光学半透式头戴显示器（Optical See-Through Head-Mounted Display，OST-HMD）在增强现实中应用广泛，它可以为用户提供在不同场景下身临其境的体验。许多可穿戴显示设备已被用于医疗用途，如谷歌眼镜（公司为Google，CA）［4］、Optinvent（公司为Rennes，France）［5］、Vuzix M300（公司为Vuzix，Rochester，NY）［6］和HoloLens（公司为Microsoft Corporation，Redmond）［7］。

在增强现实辅助手术和介入治疗领域中，有很多基于Microsoft HoloLens 的尝试。在不可逆电穿孔（IRreversible Electroporation，IRE）中，利用HoloLens 在目标区域显示超声二维图像来对电极针消融进行引导。文献［8］中提到用手眼标定来计算光学跟踪系统和HoloLens 坐标系之间的转换，但并未提及系统的精度。在骨科手术中，Gibby 等［9］通过半透式头盔中的三维手术路径来引导椎弓根螺钉的置入，但是虚拟路径和脊椎模型之间的对齐是靠手动实现的。石磊等［10］在肝癌切除手术中使用HoloLens 进行手术规划和术中引导，但虚拟模型与术中靶器官的匹配也是手动实现的。于德旺等［11］利用Vuforia 插件对比了识别图注册、三点注册和手动注册方法，通过实验验证三种方法的平均误差值为4.16 mm。Hajek等［12］使用两台HoloLens 配合实现了闭环校准，一台由用户佩戴，另一台固定在C 臂机上作为定位装置。通过手眼标定估计了C 臂机到HoloLens 的转换矩阵，并借助即时定位与地图构建算法（Simultaneous Localization And Mapping，SLAM）在同一世界坐标系中标记这两台HoloLens，最终建立锥形束计算机断层扫描（Cone-Beam Computed Tomography，CBCT）坐标系到虚拟坐标系之间的映射，该方法在定位上的均方根误差为26.6 mm。在文献［13］中，将视觉标记物固定在骨盆模型上，通过超声和光学跟踪器的融合实现了虚拟基准点和骨盆上真实基准点的重合，该方法的目标配准误差（Target Registration Error，TRE）为36.90 mm。除了上述应用，还有基于Vuforia软件开发工具包（Software Development Kit，SDK）利用HoloLens 的RGB 摄像机进行目标跟踪的方法。在Frantz等［14］的工作中，通过Vuforia 专有的特征检测算法对一个已知的RGB 圆柱进行识别，因此圆柱需要保持在摄像机狭窄的视野内且相对目标物体保持静止，该方法配准目标点的二维表面定位误差为1.92 mm。在半透式头戴显示器的相关应用中，OST-HMD 中的虚拟物体与物理现实之间的对齐一直是个难题。

从现有工作可知，目前增强现实在外科手术导航领域的相关研究无法满足临床应用的精度要求。此外，现有的标定方法操作步骤较为繁琐，无法做到快速对增强现实设备进行标定并实现虚实融合。针对上述问题，本文提出了一种快速、准确的OST-HMD标定算法。该标定方法更加友好，用户只需保持虚拟标记点在HMD 的视野中，并调整探针的位置即可完成标定。该方法通过3D-3D 映射直接求解OST-HMD 的虚拟坐标系到光学追踪系统的转换矩阵，且不需要对HMD 内部的投影矩阵进行修改，因此任何支持显示三维物体的光学半透式头戴设备都可使用该方法。很少有人将虚拟空间到真实场景的3D-3D 映射方法应用到手术导航系统中，本文的工作为这种方法提供了一个参考流程，在此基础上开发了基于AR的手术导航系统并进行了精度验证实验。在该系统的引导下，医生可以在特定的手术靶区按照三维术前规划进行操作，无需将视线在手术区域和传统的显示器之间移动，并且能够在手术过程中动态地验证手术结果。

1 相关工作

为了解决基于OST-HMD 的虚实融合问题，需要对OSTHMD 进行适当的标定以建立从物理现实到虚拟场景的映射关系。一种经典的方法是单点主动对准方法（Single-Point Active Alignment Method，SPAAM）［15］，这是一种基于二维图像点与真实世界中三维点的对应关系进行的标定。要获得足够的约束至少需要6 组对应点，用户需要反复移动头部将显示器中的二维光标与现实世界中的三维点精准地对齐。文献［16］介绍了一种基于SPAAM 的改进校准方法以简化标定过程。Qian 等［17］还提出了一种新的交互方式，通过部分固定用户的头部来降低半透式头盔的自由度，这种方法可以减少人为因素引起的标定误差。上述方法均采用3D-2D的映射来解决HMD 的标定问题，这需要获取并修改每个屏幕的投影矩阵。对于某些商用半透式头戴显示器来说，制造商只允许在用于显示的三维坐标系中进行操作，无法得到屏幕的投影矩阵。在这种情况下，传统的3D-2D 标定方法不再适用。文献［18］介绍了一种用于OST-HMD 校准的3D-3D 方法，通过光学追踪器对立方体进行定位，并指导用户通过移动立方体以完成标定，该方法的标定平均误差超过4 mm。此外，Owen 等［19］提出了头戴显示器相关标定（Display-Relative Calibration，DRC）方法，引入光学模型并考虑了瞳孔间距，但该方法步骤复杂在实际应用中有较大的局限性。基于眼球捕捉的无交互标定方法也是一种潜在的解决方案［20］，但目前相关的研究工作较少还有待进一步的发展。

2 光学半透式头戴显示器标定

2.1 OST-HMD的标定算法描述

大多数OST-HMD 具有在自己的坐标系统进行三维显示的功能，HoloLens由于在立体感知、任务负荷和刷新率方面的优越性能［15］而成为本文的实验对象。为了使HoloLens中的虚拟内容与现实世界中相应的物体重合，必须建立从虚拟坐标系到世界坐标系的映射。换言之，本文的标定方法是为了找到从OHoloLens到OTracker的变换矩阵，如图1所示。

图1 用户正在佩戴HoloLens进行标定Fig.1 User is doing calibration with HoloLens

根据探针上的反光标识物，光学跟踪系统可实时获得OProbe的位姿信息，由此获取探针尖点OProbeTip在光学追踪系统下的坐标。为了简化表示，下面使用OProbe替代OProbeTip。用户透过半透式显示器能够在视野中看到编号为1 到4 的三维正交轴（如图1 所示），且这些正交轴的中心点在虚拟坐标系中的位置是已知的。本文从立方体的非共面顶点中选择这些标记点，可以提供足够的约束来估计映射。相邻标记点之间的距离大于150 mm 以减少标定时手部抖动的影响。当探针尖端与虚拟标记点在视野中重合时，记录此时标记点在虚拟坐标系下的位置pi和探针尖点在光学跟踪系统下的位置qi（i=1，2，3，4），由此得到两组有序的3D点集。

2.2 OST-HMD的标定矩阵求解

最小二乘拟合［21］、迭代最近点（Iterative Closest Point，ICP）［22］等经典算法都可用于估计两个三维点集之间的映射问题，这里注意到pi和qi之间存在一一对应关系，因此可采用单位四元数方法［23］或对偶四元数方法［24］以提高估计的精度。若qR表示的四元数如式（1）所示：

其中：q0≥0并且若将齐次变换矩阵中的平移部分记作T，旋转矩阵记作R，则R可以表示为：

由此可以将求解两个点集之间的映射问题转换为重投影误差函数的优化问题：

该优化问题的解就是HoloLens的虚拟空间到光学追踪空间的转换矩阵的最优估计，可以表示为：

3 基于AR的手术导航系统

3.1 AR手术导航系统的功能概述

本文在课题组原有导航系统BeiDou-SNS［25］的基础上增加了新的模块，提供OST-HMD 的标定功能以及PC 与HoloLens 之间的双向通信，设计了基于AR 的手术导航系统。该系统主要包含以下5个模块，软件界面如图2所示。

图2 AR手术导航系统界面Fig.2 Interface of AR-based surgical navigation system

1）图像分割和三维重建。用阈值分割法［26］和区域生长算法将手术靶区从原始CT 中分割出来并进行三维重建。重建的三维数据与原始CT图像具有相同的坐标系，这将简化导航系统中的变换关系。

2）术前手术规划。在CT影像和三维重建数据的基础上，利用专门设计的软件进行术前规划。规划结果将以OBJ格式导入到HoloLens 上运行的Windows 通用应用平台（Universal Windows Platform，UWP）应用中，并在经过配准和标定步骤后实现和实际手术靶区的对齐。

3）图像配准。图像配准实现了手术靶区与术前CT 坐标系的几何对齐［27］。系统提供两种可选的配准方法：表面匹配和点配准。如果手术靶区存在明显的解剖特征或人为基准点，则选择具有较高精度的点配准方法；否则选择基于迭代最近点方法［28］的表面配准。在一次实验中，根据场景选择一种方法用于计算CT 坐标系到手术靶区固定的光学参考架之间的转换矩阵

4）光学半透式显示器的标定。在完成图像配准后，用户佩戴HoloLens 按照之前提到的方法，按顺序将探针尖点与每个虚拟标记点对齐，由此完成OST-HMD 的标定，之后用于标定的四个标记点将自动隐藏。

5）实时跟踪。标定完成后，术前规划的虚拟场景将自动与真实的目标区域对齐。当目标区域发生移动时，通过光学追踪系统获取目标区域安装的光学参考架的位姿变化，据此更新虚拟场景在HoloLens 中的平移和旋转，保证虚实融合的效果。

3.2 AR手术导航系统的实现

AR手术导航系统中的坐标系变换如图3所示。

图3 基于AR的手术导航系统的坐标系变换Fig.3 Coordinate transformation in AR-based surgical navigation system

为了提高了术中跟踪的实时性，所有计算过程都在PC上进行，只将以四元数和平移向量的形式发送给HoloLens上的UWP 应用。PC 和HoloLens 之间的双向通信通过传输控制协议（Transmission Control Protocol，TCP）实现，HoloLens 将作为客户端与PC上导航系统内搭建的服务端进行连接［29］，借助可识别的编码格式实现实时的数据交换。

4 实验与结果分析

4.1 实验准备

为了模拟手术导航的实际过程，本文使用带有8 个钛钉基准点的3D 打印颅骨模型（如图4 所示）。对该模型进行扫描得到的CT 数据分辨率为512×512 像素，层厚为0.625 mm。实验中使用的硬件设备为Lenovo 笔记本电脑（Intel Core i5 CPU@2.60 GHz，8.0 GB RAM），光学定位追踪设备Polaris Vicra（Northern Digital Inc.，Canada）和半透式头戴显示器Microsoft HoloLens（Microsoft Inc.，USA）。HoloLens 上运行的UWP 应用基于Unity 2017.4.1f1 和微软MRTK 2017.4.0.0开发。

图4 带有钛钉的颅骨模型Fig.4 Skull model with titanium crews

4.2 精度验证实验

为了评估AR 手术导航系统的精度，本文设计了如下的模型实验。首先，对扫描后的颅骨CT 图像进行三维重建，用自动基准点识别算法定位CT 图像中钛制基准点的位置［23］。将光学参考架固定在头骨模型上以便光学定位追踪系统可以跟踪颅骨模型的运动。在图像配准中，用户操作探针的尖端来选择模型上的基准点，通过3.1 节中的点配准算法计算得到该配准方法配准后的TRE 通常为0.4 mm 左右。为了使虚拟场景和颅骨模型实现重合，用户戴上HoloLens 然后依次用探针尖端与4 个三维虚拟标记点重合。该步骤完成后根据式（3）和式（4）可计算得出

完成OST-HMD的标定后，用户用探针尖端采集颅骨模型上第i个真实的钛制基准点(xi，yi，zi)∈R3在光学追踪系统坐标系下的位置，向量fi=(xi，yi，zi，1)作为真实值。HoloLens坐标系下的虚拟基准点将被转换至光学追踪坐标系下以计算整个系统的误差。假设HoloLens 空间中的第i个虚拟基准点可以表示为(xvi，yvi，zvi)∈R3，且向量fv(i)=(xvi，yvi，zvi，1)，那么fv(i)可通过式（7）转换至光学追踪坐标系下：

其中：fr(i)是虚拟标记点在光学追踪坐标系下的映射。系统的误差可以由式（8）表示：

本文选取8 位之前未接触过该系统的志愿者参照上述步骤进行了精度验证实验，标定过程的平均耗时约为23.8 s。实验结果表明8 枚钛制基准点的均方根误差为1.39±0.49 mm，实验的原始误差记录如表1 所示，标定过程的时间记录如表2所示。图5展示了其中一位志愿者标定后的画面，颜色较浅的虚拟基准点与深色的真实钛基准点尖端重合，表明本文的标定算法具有较高的精度。

表1 精度验证实验的原始数据 单位：mmTab.1 Original data of accuracy validation experiment unit：mm

表2 标定所用时间 单位：sTab.2 Time consumption of calibration unit：s

图5 精度验证实验的结果Fig.5 Result of accuracy validation experiment

本文还以3D打印的下颌骨为对象进行了模型实验，实验按照3.1 节中的步骤进行。标定时的场景如图6（a）所示，标定后的结果如图6（b）所示，红色部分为预定进行切除的组织，绿色部分为保留的组织。为了模拟真实的手术场景，该模型上并未装有钛基准点，由经验丰富的医生选取下颌底、下颌角、下颌切迹等下颌骨解剖学特征作为标记点进行了图像配准，之后采用本文的方法完成标定。由于无法采用钛基准点进行结果评估，故本文采集了用户视野下虚实融合的结果图，利用图像分割中常用的Dice 相似系数（Dice Similarity Coefficient，DSC）进行误差评估。

Dice 相似系数通常用来计算集合的相似度，这里本文用它来表示虚拟模型和真实物体在用户视野中的重合度。若将真实物体在图6（b）中所占的像素记为集合T，虚拟模型在图6（b）中所占的像素记为集合V，则Dice相似系数可以表示为：

由式（9）可知，当虚拟模型和真实物体完全重合时，集合T和集合V中的像素完全相同，此时对应的Dice 系数为1，故Dice 系数越接近1 表示虚实融合的效果越好。本文由一位具有丰富图像数据集标注经验的志愿者对图6（b）中的真实物体和虚拟模型进行了手动分割，并据此计算得出Dice 相似系数为0.913 7，表明虚拟规划模型和下颌骨实物之间具有很高的重合度，证明本文设计的基于增强现实的手术导航系统具有较高的精度。

图6 标定场景和模型实验结果Fig.6 Calibration scene and result of model experiment

4.3 结果分析与讨论

基于增强现实的手术导航系统的误差主要来源于光学追踪系统的定位偏差、图像配准的误差和OST-HMD 的标定误差。光学追踪设备在工作空间的误差小于0.2 mm［30］，点配准算法的误差一般小于0.5 mm，而基于迭代最近点（ICP）算法的面配准误差约为1 mm。同时，由于OST-HMD 与光学追踪系统之间的映射可能不是完全的等距变换，因此本文的求解策略也可能产生误差。在采用点配准方法的精度验证实验中，整个系统的平均误差小于2 mm，证明该方法有临床应用的可行性。

表3 列出了不同方法的精度对比，可以看出本文方法具有较为明显的优势。同文献［18］的标定方法相比，其采用正方体的标定方法由于实物的体积原因容易造成遮挡，因此在深度感知上表现较差，导致z方向标定误差较大。文献［11］方法用HoloLens的虚拟光标与空间标识图的多个顶点对齐完成注册，注册过程需要移动和旋转头部进行，容易造成HoloLens重新定位出现偏差。本文的标定方法采用三维虚拟点配准，因此遮挡状况不明显，误差在三个方向的分布较为均匀。此外，由于标定时用探针的移动代替了头部的移动和旋转，在标定过程中头戴设备不会发生大幅度运动，保证了HoloLens自身定位的准确性，也改善用户的使用体验。

表3 不同方法的精度对比 单位：mmTab.3 Accuracy comparison of different methods unit：mm

5 结语

本文提出了一种快速、准确的光学半透式头戴显示器的标定方法，用HoloLens 进行了多次实验并在此基础上开发了基于增强现实的手术导航系统。标定过程收集了OST-HMD的虚拟空间和光学追踪空间的三维点集，对3D-3D 映射直接进行估计，建立了虚拟空间到真实空间的转换矩阵。由于本文的标定方法采用的是虚拟空间中的3D标记点，因此该方法对于一些制造商只允许对最终的3D 可视化内容进行操作而不开放内部投影矩阵的商业半透式头盔是可行的，解决了经典的SPAAM方法在此情况下不适用的问题。8组精度验证实验表明，基准点的均方根误差为1.39 ± 0.49 mm，用户进行标定的平均耗时为23.8 s，表明该方法精度较高且操作简单。

增强现实中常见的延迟现象在该实验中影响较小。一方面因为手术靶区不会频繁地快速移动；另一方面计算过程全部在PC 上实现有利于提高HoloLens 中虚拟场景刷新的帧速率。另外，一旦标定完成后用户和半透式头盔之间不能有相对运动，否则必须再次进行标定。近年来眼球捕捉技术发展迅速，最新发布的第二代HoloLens 提高了硬件性能并提供了眼球捕捉功能，这将有利于促进本文的导航系统在临床上的应用。目前本文的导航系统无法应用于形变的组织和器官，未来将对三维网格模型进行动力学建模，并利用计算机视觉跟踪实际组织的形变将其反馈到增强显示的三维术前规划中，提高该系统的鲁棒性，扩大其临床适用范围。