徐天意，夏 明，李 峰，常 敏，姜 虹

（1. 上海交通大学医学院附属第九人民医院 麻醉科，上海 200011；2. 上海理工大学 医用光学技术与仪器教育部重点实验室，上海 200093）

气管内插管是麻醉医生对全麻状态下患者进行气道管理的重要手段，其在保持气道通畅、通气供氧、呼吸支持、维持氧合等方面起到了重要作用，而困难气道则是麻醉医生在气道管理时遇到的极具挑战性的一种临床情况。困难气道指接受常规训练的麻醉医师在面罩通气或气管插管时遇到困难的状况，常见原因如颅颌面畸形、外伤、瘢痕粘连等。在接受全身麻醉的患者中，困难气道的发生率约为0.5%～10%[1-2]。困难或者失败的气管插管会导致永久性脑损伤甚至死亡等不良结局[3-4]。为此，临床上常采用纤支镜引导的清醒气管插管方式来最大程度地保障患者安全[5]。

近年来，随着人工智能和深度学习的兴起和发展，许多研究人员将人工智能技术应用到医学图像检测领域，取得了显著成果。在气管插管装置方面，插管辅助设备也在向智能化和自动化方向发展。2012年，Hemmerling等[6]研发了首个气管插管机器人——开普勒系统（KIS），验证了远程操控气管插管的可行性。瑞士苏黎世大学的Biro等[7]在2020年研发了基于喉部影像识别的自动化内窥镜下气管插管装置（REALITI），该装置具有实时图像识别和远端自动定位功能，操作者手动控制内窥镜弯曲和前进方向，当图像识别检测声门开口后，可切换到自动模式，使内窥镜前端自动向声门开口的几何中心点移动，直至进入气道。尽管气管插管技术取得了诸多的研究进展，但大多仍基于单一的内窥镜图像成像方式进行识别。在插管的过程中，内窥镜图像的视角相对较小，图像对比度、目标距离、目标大小等都会发生变化，不利于医生快速锁定目标。另外，痰液及气道分泌物遮挡气管口、食道口等目标，对视觉图像造成干扰。

1 基于深度学习的多模态气管插管智能目标检测算法

在气管插管过程中，依据内窥镜图像识别声门开口是确定气管导管方向和位置的重要步骤。深度学习具有强大的目标图像特征提取能力，可实现更精确的特征识别。利用深度学习的方法对内窥镜图像进行声门开口的检测，从而辅助气管插管。

在深度学习网络中，卷积神经网络通过卷积核提取图像的特征，其卷积核的大小决定了感受野的大小，不同感受野对不同尺度目标的检测效果也不尽相同。YOLOv3是目前常用的目标检测算法，可以在不降低检测精确度的情况下，实现快速目标对象检测。传统YOLOv3骨干网络中采用固定大小的卷积核，其感受野的范围固定，无法有效地提取内窥镜图像中的信息。特别是在检测尺度变化较大的声门开口目标时，不可避免地会错检和漏检。为此，本文提出了一种基于空洞卷积和特征融合的YOLOv3网络。在此基础上，根据多路CO2浓度差异，利用矢量化定位算法确定目标中心，以进一步校正YOLOv3得到的目标位置，提升目标检测精度。

1.1 基于空洞卷积和特征融合的YOLOv3网络

基于空洞卷积和特征融合的YOLOv3网络，如图1所示。首先，改进了YOLOv3骨干网络Darknet53，设计权重共享并行多分支空洞卷积残差模块（multi-branch dilated convolution block, MDBlock），以提取更丰富的图像特征, 如图2所示。该模块使用不同扩张率的空洞卷积核对不同尺度的目标特征信息进行提取，同时借助上采样和张

图1 基于空洞卷积和特征融合的YOLOv3网络Fig.1 YOLOv3 network based on dilated convolution and feature maps fusion

图2 权重共享并行多分支空洞卷积残差模块Fig.2 Weight-sharing parallel multi-branch dilated convolution block

量拼接技术增加特征图的数量，提升检测小目标的精度。将原来的残差块用3个并行的残差块代替，并在每个残差块的首部和尾部增加1×1的卷积核来确保通道数不变。同时，采用3个不同扩张率的3×3的空洞卷积代替原来的3×3的普通卷积，并且这3个并行的残差块中空洞卷积的权重是共享的。本研究将骨干网络Darnet53中的残差块全部替换为所设计的权重共享的并行MD-Block。

其次，为进一步检测更浅层的特征，在保持YOLOv3原来输出层的基础上，通过特征金字塔网络生成另外两个不同尺度的特征图。具体过程如下：对输出的52×52尺寸的特征图进行上采样，并与骨干网络中的浅层104×104的卷积层输出进行张量拼接，输出104×104尺寸的特征图。类似的，对输出的104×104大小的特征图进行上采样，与骨干网络中208×208大小的卷积层输出进行张量拼接，输出208×208尺寸的特征图。

1.2 多路CO2浓度信号定位算法

依据测量得到的四路ETCO2浓度差异，通过矢量化定位算法确定目标的中心位置。具体算法如下：根据四路CO2传感器的安装位置，通过对每个传感器进行位置标定，建立坐标系。根据所建立的坐标系按照如下式子可以计算出目标中心点的坐标位置（x0,y0）。

现代社会的竞争是科技、人才的竞争，归根到底是教育的竞争。传统的灌输式教学方式，“你打我通、你说我听”的教学方法已不适应新形势的要求。教师对学生的教育作用，已不单单是知识的传递，而是教师对学生的思想观念、文化素养、道德风尚的全面影响。对此，教师要从自身做起，不懈地学习知识，奋力更新观念，潜心修身养性，以创新为导向，建立前瞻性教育思维，以适应新形势的发展和要求。

式中：O1，O2，O3和O4分别为传感器1、传感器2、传感器3和传感器4测得的CO2浓度向量；θ1为O1和O3与x轴的夹角，θ2为O2和O4与y轴的夹角；δ为归一化因子。

1.3 多模态定位算法的融合

建立图像坐标系和ETCO2矢量化定位坐标系的转化关系，将ETCO2矢量定位算法计算出的目标中心位置映射到图像坐标系中，进一步将其与改进的YOLOv3网络模型计算得到的边界框的中心坐标进行加权融合，最终得到准确的目标中心坐标。

具体步骤是通过改进的YOLOv3网络先为每个边界框预测4个偏移量tx,ty,tw,th，这4个变量分别表示预测的目标对象的中心坐标、目标预选框的宽度和高度。此外，网络也会输出衡量预选框中存在目标对象的概率值和目标对象所属的类别。假设目标对象所在的栅格从图像的左上角作偏移，利用如下计算公式，得到网络在图像坐标下预测的目标边界框的中心坐标(bix,biy)信息。

式中：dx,dy分别为偏移的长度和宽度；σ为sigmoid 函数。

进一步将网络预测的目标边界框的中心坐标与通过矢量化定位算法计算出的目标中心位置映射到图像坐标系后得到的坐标进行加权融合，最终得到目标边界框的中心坐标为

式中：bx,by,bw,bh分别为最终计算出的目标边界框的中心坐标、宽度和高度；bcx,bcy为通过ETCO2浓度矢量化定位算法计算出的目标中心映射到图像坐标系中的坐标；bix,biy为网络在图像坐标下预测的目标边界框的中心坐标；pw,ph分别为预测框的宽度和高度；α,β分别为权重因子。

2 损失函数的设计

本文对网络预测的边界框的中心坐标、宽度和高度采用均方误差损失。同时，在分类时将Softmax分类函数用多个logstic回归代替，利用二值交叉熵函数来计算边界框分类损失及置信度损失。假定得到的特征图的大小为S×S，每个网格产生B个锚框，每个预选框经过网络最终得到S×S×B个边界框，最终的损失函数Lt包含检测框中心坐标误差损失Lmd、检测框高度和宽度误差损失Lmg、置信度误差损失Lcf和分类误差损失Lcl。定义某一个预选框和真实框的交并比大于其他的预选框，则采用这个预选框来检测当前的目标。

3 训练参数设定

在对改进的网络进行训练的过程中，对训练参数进行了相应的配置，具体为：batch的大小设置为4，subdivisions设置为8，将采集到的80张图像平均分配到8组分别进行训练，权值衰减设置为0.000 5，动量设置为0.9。在训练的后期，设置学习衰减策略为step，学习率变动因子设置为0.1，使用随机梯度下降法（stochastic gradient descent,SGD）对网络的参数进行更新。

4 模拟气道训练验证

基于深度学习的多模态气管插管智能目标检测算法，上海交通大学医学院附属第九人民医院麻醉科与上海理工大学光电学院共同研发了多模态气管插管辅助装置的初代样机，并在模拟气道中验证其可行性。

4.1 材料与设备

模拟气道训练使用的设备和材料主要包括：a. 气管插管装置，见图3，包括多模态气管插管辅助装置第一代样机和纤支镜；b. 模拟气道装置，见图4，为高仿真气管插管模拟人一套（上海柏教，BZ-51）；c. 其他材料包括石蜡油、颈托固定器、CO2产生装置（内含CO2气瓶）、模拟肺和连接管道。

图3 气管插管装置Fig.3 Endotracheal intubation device

图4 困难气道气管插管模型Fig.4 Endotracheal intubation model in difficult airway

困难气道插管模型的构建是利用颈托固定器限制模拟人颈部活动度，以模拟困难气道；然后通过连接管道将模拟肺与CO2产生装置相连，按压该装置上方的按钮可以释放CO2，以模拟清醒插管状态下呼气末CO2从气道内逸出的状态。

4.2 研究内容

比较14名麻醉科住院医生使用新型多模态气管插管辅助设备和传统纤支镜在困难气道模拟人中的应用效果。所有参与研究的志愿者均无相关设备的使用经验。

首先由一名指导老师对参与研究的14名志愿者进行培训，包括气管插管的基础知识和多模态气管插管辅助装置、纤支镜的使用方式，同时在模拟人上进行操作示范。然后每位志愿者在该模型上分别使用纤支镜和多模态气管插管辅助装置各完成5次经鼻气管插管的操作，记录每次操作的时间。

具体操作方式如下：石蜡油润滑纤支镜和多模态气管插管辅助装置前端，将引导装置缓慢经鼻腔送入，调节手柄上的旋转把手以控制引导装置前端镜头的上下弯曲，旋转操作手柄调节引导装置的左右转动，从而调节视野范围。当使用纤支镜时，根据内窥镜下的视觉图像寻找声门位置。当使用多模态气管插管辅助装置时，助手按压CO2产生装置模拟清醒状态下气道内CO2的呼出，通过多模态算法定位，确定气道的中心位置并同步在显示屏上，根据屏幕箭头指示方向调节引导装置前端方向，向声门口移动。如图5所示，根据箭头所指示的方向判断声门位置在右上方，则应向图像右上方调整镜头。当引导装置进入声门后继续向下推进直至气管隆突，以此标志作为进入气道内的评判标准。

图5 多模态气管插管辅助装置的指示图Fig.5 Indication diagram of multimodal endotracheal intubation assistant device

4.3 观察指标

记录每位志愿者每次的操作时间和结果，操作时间定义为引导装置从鼻腔到气管隆突的时间。若在120 s内将引导装置成功置入气道，则定义为操作成功，其余为操作失败。

4.4 实验结果

参与研究的14名志愿者共完成了70次多模态气管插管辅助装置和70次纤支镜的操作，结果见表1。

表1 多模态气管插管辅助装置和纤支镜的操作情况Tab.1 Operation assessment of multimodal endotracheal intubation assistant device and fiberoptic bronchoscopy

在70次多模态气管插管辅助装置的操作中，两名志愿者分别有1次操作未进入气道中，其余操作均进入气道且操作时间小于120 s。在所有使用多模态气管插管辅助装置的成功操作中，操作时间中位数为15.5 s（13.0～19.0 s）, 最短时间为8 s，最长时间为58 s，操作成功率为97.3%（95%CI:90.7%～99.7%）。在70次纤支镜的使用中，共有3次操作失败，其余操作时间均小于120 s，操作时间中位数为15 s（12.0～20.0 s），操作时间的范围为9～39 s，操作成功率为96.0%（95%CI:88.8%～99.2%）。两种设备在操作时间（P=0.569）和操作成功率（P=1.000）上的差异均无明显统计学意义。

4.5 实验分析

困难气道气管插管模拟操作表明，这两种设备在该模型中的操作时间（15.5 s 和 15 s）和操作成功率（97.3%和96.0%）之间的差异不显著。

对困难气道的管理一直是麻醉医师关注的问题，根据2013年美国麻醉医师协会指南推荐[11]，常见用于管理困难气道的技术包括清醒气管插管、盲探气管插管、纤支镜引导气管插管、声门上气道工具、光棒以及视频喉镜。对于术前预期的困难气道，保持患者自主呼吸状态下纤支镜引导的气管插管是保障患者安全的有效方式。但是纤支镜内镜视角小，易受痰液、血液等分泌物的遮挡，以及在一些气道结构出现改变的困难气道中，难以辨认气道方向[12]。虽然目前有不少国内外研究致力于通过人工智能算法辅助气管插管，但多数仍是基于视觉图像，仍有部分限制。

在气管插管过程中，当气管导管接近声门口时，ETCO2分压迅速达到15 mmHg以上，波形也愈发明显，这对确定气道方向具有一定的指导意义，也是本研究的理论基础[13]。利用多路CO2浓度差异，通过矢量化算法确定浓度中心位置。同时，通过改进的YOLOv3网络对小目标进行高精度的提取，将多模态的算法进行加权融合，最终确定气道中心。本研究以此为基础，完成了新型多模态气管插管辅助装置的研发。

同时，在模拟困难气道中的操作效果分析上，与传统的纤支镜相比，多模态气管插管辅助装置在操作时间和操作成功率上均无显著的统计学差异。相关在困难气道训练模型中的研究表明，纤支镜进行气管插管的时间约为56～72 s，成功率40%～85%不等[14-15]。Piepho等[16]在困难气道模型中的研究结果表明，使用纤支镜进行经鼻气管插管时，纤支镜暴露声门的时间大约33 s，成功率可达81%。不同研究结果的差异与不同气道模型以及对操作成功的不同定义相关。本研究中未置入气管导管，这是因为本研究的主要目的是比较多模态气管插管辅助装置和纤支镜在操作上的差异，而气管插管过程会影响操作时间，干扰对多模态气管插管辅助装置应用效果的评估[7]。同时，气道的识别和定位为气管插管的关键步骤，对气管插管的成功有着重要意义。因此，本研究中仅把将引导装置正确置入气道作为结局。与先前研究相比，本研究中的操作时间和操作成功率都取得了较为满意的结果，可认为多模态气管插管辅助装置是纤支镜的一种可行的替代方法。

另外由于本研究为仅在气道模拟人上进行了初步验证，无法完全模拟痰液、血液等真实的临床情况，该新型气管插管辅助装置的优势无法完全得到体现。同时，在模拟气道中取得较满意的应用效果并不能完全推广至临床应用中。今后，研究团队将对该装置进行下一步的改进和完善，实现在临床操作中的运用和推广。

5 结 论

为改善目前气道插管过程中图像视角较小、目标尺度变化大、相互遮挡等不足，提出了一种基于深度学习的多模态气管插管智能目标检测算法，融合内窥镜的图像信息和ETCO2浓度信息，辅助气管口的检测。首先，改进了传统YOLOv3的Darknet53主干网络，构建权重共享的并行多分支空洞卷积残差模块，提高了网络获取图像特征的能力；其次，在保留YOLOv3原来的输出层的基础上，利用特征图像金字塔生成另外两种不同尺度的特征图，并对特征图进行上采样和张量拼接，提升了对小尺寸目标的检测效果。同时，利用四路ETCO2浓度差异进行矢量化算法定位目标中心位置。最终，将其得到的目标信息与图像得到的目标信息进行融合，设计出多模态气管插管智能目标检测算法，并研发了多模态气管插管辅助装置。该辅助装置在模拟人上进行气管插管的辅助引导是可行的，具有比较满意的操作时间和成功率。本研究证实了基于深度学习的多模态气管插管智能目标检测算法能够有效辅助气管插管操作，为多模态气管插管辅助装置的进一步发展提供了基础。