肖小娇，赵文婷，赵涓涓，肖 宁，杨星宇，杨晓棠

(1.太原理工大学 信息与计算机学院，太原 030024；2.山西省肿瘤医院 医学影像科，太原 030013； 3.山西医科大学 第一临床医学院，太原 030001)

肝癌是全球第二大最常见的与癌症相关的致死率高的疾病[1]，降低死亡率最有效的方式是早期检测。因此，肝病变的分割和早期检测非常重要。病变分割是肝癌检测、分期估计和术后治疗的关键预处理步骤[2]。病变的检测是医师制定治疗方案的依据，决定了疾病的预后状态。核磁共振成像(magnetic resonance imaging，MRI)是临床中最广泛用于肝癌检查的成像方式，因为它具有优越的组织对比度，不会产生辐射危害[3]。然而，具有造影剂对比的MRI具有一些缺点，例如可访问性有限、成本高以及有毒性相关副作用的风险。因此，越来越多的研究使用扫描时间短且没有造影剂相关风险的无对比增强MRI来作为肝癌的早期监测工具[4-5]。

但是，无造影剂图像上肝病变的分割和检测仍然面临着较大挑战：1) 肝脏、肿瘤与附近器官组织之间的对比度低或边界模糊[6]；2) 肿瘤的大小、形状、位置、外观/纹理和数量在不同患者间存在巨大差异；3) 大量的MRI图像需要放射科医师进行人工标注、评估和诊断，需要消耗大量的时间，且诊断往往依靠医师的个人知识和经验，往往会造成误诊。因此，迫切需要开发出准确、可靠和自动化的技术，以通过无造影剂的MRI扫描对其肿瘤进行分割和检测，以协助临床医生进行肝癌诊断及后期的手术计划。

深度学习已经在医学图像的许多领域有成功应用[7-8]。其中，有许多在MRI中对肝脏或肝脏病变进行分割的工作[9-13]。然而，大多数现有工作都在公开数据集LiTS等造影剂增强图像上进行分割工作。同时，大部分也仅在考虑单一模态内隐含关系的情况下进行，几乎没有有效地利用多模态MRI图像的互补特征。有研究表明由弥散加权成像(diffusion-weighted imaging，DWI)和T2抑制成像(T2 fat suppressed，T2FS)组成的无造影剂MRI是肝癌的候选替代监视工具[14]，因为弥散受限和轻度至中度的T2高强度具有明显的肝肿瘤的影像学特征。尤其是DWI在检测肝癌细胞方面表现出色[15]。现有的方法尚未探索无造影剂图像的特异性、多模态图像间的互补性和多任务(分割和检测)的相关性，这些都可能提高对肝癌早期的检测性能。

1 方法描述

本文联合多模态特征的多任务网络(multi-task combining multi-modality features network，Mt-C-Mmf)在肝脏无造影剂MRI图像上同时完成肿瘤的分割和检测。Mt-C-Mmf由平行的两条路径组成，包括分割路径和检测路径，如图1所示。分割路径包括多尺度的多模态特征编码器和对应的解码器；检测路径包括多尺度的多模态特征编码器和基于Fast R-CNN的检测器。其中，每个模态的特征经过逐层的多尺度特征提取块后进行连接得到融合特征。每个任务经过联合损失的训练后使网络同时完成肿瘤的分割和检测。

1.1 多模态编码器

编码器将UNet网络的下采样层作为主要架构，逐层得到图像中肝瘤的上下文信息。同时，为了更好地提取无造影剂图像中肝瘤的特征，创新性地提出了多尺度特征卷积块(multi-scale feature extraction block，MsFEB).

具体而言，编码器由4层组成，每层包括多尺度特征卷积块、批量归一化、线性整流(rectified linear unit，ReLU)激活函数和最大池化。

输入图像x为256×256，四层卷积核分别设置为{7×7,3×3,3×3,3×3}，i代表卷积的层数，coni代表第i层的卷积大小。x输入到多尺度特征提取块后经过3个通道的卷积，如图2所示。

在膨胀卷积(dilated convolution，DC)的启发下，通过不同的膨胀系数来扩充卷积增加感受野，从而提高特征的多样性。同时，多尺度的卷积可以增加对不同大小图像的适应性。膨胀系数分别设置为{1,2,4}.每一个通道的图像同时经过coni×coni的膨胀卷积和1×1的卷积，接着经过相乘和全连接后分别得到对应特征图xf，hf和gf.每个特征图与x进行连接。最后将特征图进行融合后输出特征图像yf.

图1 联合多模态特征的多任务网络结构Fig.1 Schematic of a multi-task network combining multi-modal features

图2 多尺度特征提取块结构Fig.2 Schematic of Multi-scale feature extraction block

xf=x+FC(DC1(x)×reshape(conv(x))) .

(1)

hf=x+FC(DC2(x)×reshape(conv(x))) .

(2)

gf=x+FC(DC4(x)×reshape(conv(x))) .

(3)

T2FS经过编码器得到特征图[m1,m2,…,mn-1,mn]，DWI经过编码器得到特征图[n1,n2,…,nn-1,nn]，其中mi∈RH×W，ni∈RH×W，H和W分别代表图像的宽和高，n代表卷积层的通道数。将两个模态特征图进行连接后得到融合特征。通过两个平行编码器分别对单模态特征进行提取后再融合，这样的方式充分提取了单模态的特异性特征和融合了多模态的互补特征，提高了分割和检测任务的准确性。

1.2 多任务解码器

多任务解码器由分割路径解码器和检测路径解码器组成，两个解码器同时训练来完成两个任务。在每个解码器前都对融合特征进行1×1卷积，可以对特征进行再一次融合，也可以进行降维操作。

1.2.1分割路径解码器

分割路径的解码器以Unet[16]的上采样路径为主要框架，逐层还原图像的信息，最终得到与原始图像分辨率相同的分割结果。同时，解码器中每层都与对应的下采样层的特征进行融合，这样解码器可以学习到编码器中丢失了的低级特征。最终解码器获得更准确的上下文信息，提高分割的准确性。解码器由4层组成，每层包括反卷积、批量归一化和ReLU激活。最后一层通过1×1卷积后得到对应的分割结果。

1.2.2检测路径解码器

将融合后的特征输入到检测路径解码器，依次经过池化层、全连接层从而将多模态特征进一步融合。检测的结果分别包括分类结果和定位框，因此融合特征分成两支处理：1) 第一支经过全连接层和Softmax对目标进行分类；2) 第二支经过全连接层和逻辑回归得到生成框，回归结果为:

tu=(tu,x,tu,y,tu,w,tu,h) .

(4)

式中：(x,y)代表生成框的中心点坐标；w和h分别代表生成框的宽和高。

1.3 多任务联合损失

Mt-C-Mmf的多任务联合损失由分割损失Lseg和检测损失Ldet组成。因此，联合损失可以表示为：

(5)

式中，

Lcls(p,u)=-lgpu.

(6)

Lloc(tu,v)=∑i∈{x,y,w,h}smooth(tu-v) .

(7)

式中，p=(p0,p1,…,pk)代表目标的概率分布；u代表类别；pu代表目标属于第u类的概率值；tu代表逻辑回归输出值；v代表生成框的金标准。

2 实验

2.1 数据

实验数据来源于由麦吉尔大学健康中心批准后获得的 255名受试者(125名肝血管瘤受试者和130名肝细胞癌受试者)的临床数据集。每个受试者都经过标准的临床肝脏MRI检查后收集无造影剂和造影剂序列图像，具体包括无造影剂图像(T1FS[256×256 px]，T2FS[256×256 px]，DWI[256×256 px])和多相造影剂增强图像(T1-动脉期，T1-门静脉期和T1-延迟期)[256×256 px].患者在注射钆布醇0.1 mmol/kg造影剂后在3T MRI扫描仪上得到多相的增强图像。根据临床标准，医师使用ITK-SNAP工具[17]手动获得造影剂增强MRI中T1-延迟期图像的分割标签,同时医师人工诊断肝肿瘤，医师标注和诊断结果作为金标准。

2.2 实验细节

通过5倍交叉验证测试对训练好的网络进行性能评估和比较。具体来说，使用2的批量大小来训练Mt-C-Mmf，迭代次数为10 000，学习率为1×10-4.Mt-C-Mmf在Ubuntu 18.04平台，Python v3.6，Pytorch v0.4.0和CUDA v9.0库上执行，并在3.60 GHz的Intel○R CoreTM i9-9900K CPU和GeForce GTX 1080Ti 11GB GPU上运行。

2.3 评估指标

本文使用骰子系数(dice coefficient，DSC)和像素准确率(pixel accuracy，p-Acc，式中用pAcc表示)来评估分割的性能。使用交并比(intersection-over-union，IoU)来评估回归框的性能。

(8)

(9)

(10)

3 结果和分析

3.1 网络整体性能

Mt-C-Mmf网络在无造影剂图像中肝脏肿瘤的分割中取得了较好的结果。与其他方法的分割结果如图3所示。图3中，(a)和(b)分别是无造影剂MRI图像：T2FS和DWI；(c)-(g)分别是4种不同方法的分割结果和金标准的局部放大图；(h)是造影剂增强MRI：T1-延迟期。此外，分别用绿色箭头和黄色箭头在无造影剂图像上指出医师可以观察到的肿瘤位置。通过4例受试者的MRI可以看到在无造影剂图像上某些病变是肉眼无法观察到的(图3的第三行和第四行)。

如图3所示，本文方法可以得到与金标准相近的分割结果。尤其对于无造影剂图像中无法观察到或者边界较模糊的难分割的病变，在多模态图像的互补信息、多任务间的相互约束以及多尺度特征提取块的帮助下，Mt-C-Mmf能够捕捉到表征病变的有效特征，完成较精准的分割。

此外，为了评估网络整体性能，对网络进行了定量实验，结果如表1所示。在分割方面，Mt-C-Mmf的DSC为(81.98±1.07)%，pAcc为(93.72±0.97)%，在检测方面，IoU达到了(80.19±1.46)%，分类的准确性为(90.36±0.61)%，敏感性为(90.83±1.76)%，特异性为(90.15±0.87)%.

3.2 消融实验

为了验证提出的每个模块对分类和检测结果的贡献，进行了消融实验。具体而言，包括无多模态数据(No multi-modality，No Mm)，即去除DWI编码器，仅保留T2FS编码器；无多尺度特征提取块(No MsFEB)，即去除MsFEB，使用传统卷积层代替它；无联合损失函数(No multi-task，No Mt)，即每个任务单独完成。

图3 不同方法的分割结果对比图Fig.3 Comparison of segmentation results of different methods

表1 TsA-MtMm的模块消融实验结果Table 1 TsA-MtMm module ablation experiment results %

消融实验结果如表1所示，消融实验验证了模型中的多模态、多尺度特征提取块和多任务提升网络进行肝脏肿瘤同时分割和检测的性能。其中，影响最大的是多模态数据。通过表1的第1行和第4行的比较，当没有多模态数据(No mm)时，分割和检测性能下降，其中DSC下降了6.71%，pAcc下降了3.83%，IoU下降了5.21%，准确性下降了4.41%， 敏感性下降了6.77%，特异性下降了6.45%.

3.3 与当前方法对比

为了验证Mt-C-Mmf的有效性，将其与目前先进的算法进行对比。为了验证分割的性能，Mt-C-Mmf分别与UNet[16]和Radiomics-guided GAN(XIAO et al[12])对比；为了验证检测的性能，Mt-C-Mmf分别与Tripariter-GAN(ZHAO et al[7])和Faster RCNN[18]对比；同时，为了验证同时分割和检测，与Mask RCNN[19]进行了对比。结果如表2所示，Mt-C-Mmf取得了当前最好的效果。其中分割DSC达到(81.98±1.07)%，pAcc达到(93.72±0.97)%，检测的生成框与金标准的IoU达到(80.19±1.46)%，分类的准确率达到(90.36±0.61)%.

表2 TsA-MtMm与不同方法的对比结果Table 2 Comparison of TSA MTMM with other methods %

4 结语

肝肿瘤的精确分割和检测对于提高患者生存率有着非常重要的作用。本文提出的一种联合多模态特征的网络，能够同时实现肝肿瘤的分割和检测，同时无造影剂MRI图像又避免了造影剂的危害。通过对255例病人的数据进行了5折交叉验证实验，并和先进的Unet，Faster RCNN和Mask RCNN的实验对比，表明了提出的方法能够从无造影剂MRI图像中分割出肿瘤，并且可以定位到肿瘤位置以及肿瘤的类别，从而为临床医师提供安全、省时和准确的辅助诊断工具。