APP下载

组织学病理图像在深度学习中染色处理的研究进展

2023-01-11罗诗欢刘智明杨必文郭周义

激光生物学报 2022年6期
关键词:组织学染色病理

罗诗欢,刘智明,杨必文,郭周义

(华南师范大学生物光子学研究院,广州 510631)

组织样本的组织学分析是疾病诊断中应用最广泛的方法之一。生化染色过程(染色批次、染色量、时间、切片厚度和染色方法)会导致物理颜色的变化,而颜色的变化也可能受成像和数字化参数[光照、(反)聚焦、成像分辨率和放大倍数的变化、显微镜或扫描仪类型和检测器的光谱灵敏度]等因素的影响[1-2]。这些过程中的任何一种因素变化都可能改变颜色。为了克服这些颜色变化对后续任务的影响,逐个像素调整图像颜色值,使得源图像的颜色分布归一化为目标图像的颜色分布,此步骤被称为“染色归一化”。组织图像的染色归一化技术可以用于处理染色的异质性和视觉观察的数字组织病理学切片的表观。虚拟染色是指将无标记组织切片的图像转换为与组织学染色的相同样本的明场或荧光显微镜图像等效的图像。这种无标记的虚拟染色方法绕过了组织化学染色过程,简化了病理和组织学领域的制备程序,能够节省时间和成本。而在实际研究过程中,有限的可用标记数据阻碍了组织病理图像的训练,基本的图像增强操作(如旋转、翻转、颜色混合)没有考虑未标记数据的特征,以及标记数据与未标记数据之间的差异可以为数据生成提供有用的信息,所以对未知和未标记的数据自动生成增强训练样本很有必要。本文介绍了组织学病理图像在深度学习中的染色归一化、虚拟染色和组织病理图像增强,并对组织学病理图像染色处理的应用做出了展望。

1 染色归一化

1.1 常规染色归一化

直方图染色归一化会把噪声和重要像素值视为同等重要,会引入相当多的视觉伪影。Reinhard等[3]在Lab颜色空间中进行一组线性变换,提出了将图像各通道的均值和标准差与目标的均值和标准差进行匹配的染色归一化方法。不过该方法的源图像背景亮度没有完全保留,最终可能会降低源图像的对比度。Roy等[4]提出的改进Reinhard方法可以保留源图像的所有颜色变化(甚至是红粉色点)。Aswathy等[5]提出一种结合光源归一化和染色归一化的双阶段归一化,以解决活检过程中染色不协调和成像质量差异导致活检标本颜色变化的保真度问题。这两个模块既可以独立执行,也可以逐个执行。除了独立执行的方法,多边缘Wasserstein重心法[6]可以将额外的图像作为中间参考在颜色分布空间中进行,能够不依赖于像素的数量,可以很容易地扩展到整个全视野玻片图像(whole slide images,WSIs)上。

组织样品一般采用多种染料染色,可以对不同染料染色区域进行分离[7]。颜色反卷积是将RGB颜色空间转换为另一个对组织进行染色的染色定义的颜色空间,可以分离两种或三种颜色的组合。自适应颜色反卷积(adaptive color deconvolution,ACD)[8]算法考虑了染色的多重先验知识,可以同时估计颜色分离和归一化的参数,在求解ACD模型和应用过程中只涉及到像素级操作,效率高,适用于WSIs的染色分离和染色归一化。基于分割和聚类策略的细胞结构检测算法的染色颜色自适应归一化(stain color adaptive normalization,SCAN)[9],可用于血红素毒素和伊红染色的组织学切片全自动染色分离和归一化,可以在不改变管腔颜色和背景的情况下,提高组织与背景的对比度,保存局部结构。由于SCAN是基于Macenko等[10]提出的方法,该方法需要获取至少放大5倍的图像,否则初步的染色分离可能会失败。当输入图像中不存在苏木素和伊红(hematoxylin-eosin,H&E)这两种染色中的其中一种时也可能会分离失败。所以,SCAN算法的局限性与输入图像的尺寸和染色内容有关。

1.2 基于深度学习染色归一化方法

常规染色归一化图像处理方法选择参考模板时,严重依赖领域专家的专业知识,而深度神经网络和生成模型的发展为染色归一化提供了新的途径。基于全局颜色匹配的直方图规范和Reinhard等[3]的方法,染色无法正确分离会引入一些人工因素。Macenko等[10]使用监督式的像素级染色分离的方法,需要在训练集中添加先验信息。全局染色归一化Vahadane方法[11]和结构保持染色归一化(structure-preserving color normalization,SPCN)等无监督染色分离方法不能保证源图像的全部颜色信息。基于CycleGAN[12]的深度学习方法能够解决以上问题,但是,CycleGAN在实际环境中掩盖了许多染色组织中的特征,模型泛化的可能性方面并不理想。因此,Jose等[1]总结了在保留源图像内容的情况下的新型生成对抗网络(generative adversarial networks,GANs)方法,根据图像风格修改输入图像的颜色风格。颜色转移被认为比传统的染色正常化方法更有效[13]。颜色转移是在不同的数据集中转移组织图像的染色表观,以避免批量效应导致的颜色变化。而GANs是染色归一化的一种完全不同的策略,GANs方法的有效性大大优于经典的染色正常化方法,是最近几年的首选方法。StainGAN[14]在无监督设置下受CycleGAN[12]启发,对染色表观进行转移,获得了与目标域的高度视觉相似性。Kang等[15]提出了一种比StainGAN快40倍以上,可以在40 min内归一化10万×10万张幻灯片图像的Stain-Net方法,在保留光源结构的同时,根据参考图像的颜色表观改变源图像染色矩阵的颜色表观。参考图像是由病理学家手工选择的,不同的参考图像可能会影响最终的归一化结果,而StainNet避免了选择参考图像的困难。首先,StainGAN将源域到目标域的图像归一化。然后,将StainGAN处理后的归一化图像设为Ground Truth来训练StainNet,源域的图像通过StainGAN返回到目标域,对于来自目标域的图像也执行相同的反向处理。StainNet是一个1×1全卷积神经网络,它可以直接将图像从源域映射到目标域,其框架如图1所示。因为StainGAN需要不同染色的成对图像来学习染色分布之间的映射关系,所以Gutierrez等[16]基于Park等[17]的研究对该方法的修改提出了一种染色风格转移到另一种染色风格的方法——StainCUT,可用于进行无配对图像到图像的转换。StainCUT使用对比学习方法进行训练,不依赖于CycleGAN方法。

图1 StainNet的框架[15]Fig.1 The framework of StainNet[15]

为解决输入图像的质量敏感、不适应海量病理数据智能处理的要求的问题,可添加一些新的技术集成到染色归一化里面,从而实现更优的归一化效果。比如,在单生成网络(single generative networks,SGNet)训练的染色模型[18]中引入仅使用基准H&E图像来训练染色模型的新组件,应用基于清晰度-亮度-饱和度的预增强来削弱批处理效果和规范化染色颜色,在卷积层和上采样层之间添加最大池化层和位置归一化动态矩捷径(positional normalization dynamic moment shortcut,PONO-DMS)操作,以优化网络性能。MultiPathGAN[19]基于对抗学习的无监督多域图像平移网络,以归一化多个WSIs域之间的染色变化。而自我注意对抗性染色归一化(selfattentive adversarial stain normalization,SAASN)[20]方法将多个染色表观归一化到一个共同的领域。这种无监督生成式对抗方法包含自我注意机制,以更精细的细节合成图像,同时在翻译过程中保持活检特征的结构一致性。

2 虚拟染色

2.1 虚拟荧光染色成像

化学荧光染色具有耗时和需要标记等缺点,虚拟荧光染色建立计算模型来学习未标记的显微镜图像和标记的荧光图像之间的关系,并推断不包括物理染色过程的其他显微镜图像的荧光标记。Liu等[21]提出的全局像素变压器层可产生任意维度的输出,并可用于所有常规、下采样和上采样操作,并将全局像素转换器层和密集块结合起来,构建一个类似U-Net的网络,可用于未标记显微图像的虚拟染色,对各种荧光图像预测任务进行评估,定性定量的评估结果都比现有模型[22]的准确度更高。

荧光图像显示的信号强度与荧光分子的数量一般呈线性关系,而真正的H&E染色玻片的正常亮场成像本质上是对测量染料分子的吸光度,且其吸光度与染料分子浓度呈对数关系。Simonson等[23]通过建模去调整输入图像的光亮度和光强度对输出图像的影响,产生的RGB通道形成最终的虚拟H&E映像,通过省略伊红图像(E),可以看到一个虚拟的仅苏木素染色的图像(H)。通过免疫染色组织切片进行空间分辨分子分析是癌症诊断、分型和治疗的一个关键特征。Burlingame等[24]提出了一种基于深度学习的组织学到免疫荧光快速转换(speedy histological-to-immunofluorescent translation,SHIFT)方法。该方法将H&E染色组织的组织学图像作为输入,然后在近实时返回中推断出虚拟免疫荧光(immunofluorescence,IF)图像,该图像估计了肿瘤细胞标记物泛细胞角蛋白(pan-cytokeratin,panCK)的潜在分布。与传统IF相比,SHIFT模式的优势包括:1)无需昂贵的成像硬件、批量试剂和IF方案的技术负担;2)近实时生成虚拟中频图像;3)SHIFT的可移植性允许它以最小的工作量集成到现有的成像工作流中。Rivenson等[25]在使用GAN进行训练后,神经网络能够快速输出几乎与染色组织图像无异的荧光图像,绕过了组织学中使用的标准化学染色程序,如图2所示。

图2 利用未染色组织的自体荧光进行基于深度学习的虚拟组织学染色[25]Fig.2 Deep learning-based virtual histology staining using auto-fluorescence of unstained tissue[25]

2.2 特定功能染色

传统的组织病理学工作流程需要漫长而费力的样品制备以获得薄的组织切片,导致产生准确诊断报告的时间延迟约1周。Chen等[26]应用一种无监督生成对抗网络框架,将彩色的紫外表面激发显微镜技术(microscopy with UV surface excitation,MUSE)图像转换为Deep-MUSE图像,使其高度类似H&E染色,可以在5 min内获得典型脑活检的亚细胞分辨率MUSE图像(5 mm×5 mm),并在40 s内进一步转换为Deep-MUSE图像。皮肤肿瘤病理诊断的基准是有创活检和组织学染色。Li等[27]使用卷积神经网络快速将未染色皮肤的活体反射共聚焦显微镜(reflectance confocal microscopy,RCM)图像转换为具有显微分辨率的虚拟H&E染色样式的图像,从而实现了表皮、真皮-表皮连接层和真皮浅层的可视化。虚拟组织染色程序见图3。

图3 常规皮肤病理(a)和无活检的虚拟组织染色程序(b)示意图[27]Fig.3 The schematic diagram demonstrating the conventional (a) and biopsy-free virtual (b) histological staining procedures for skin pathology[27]

临床实践中更常用的是连续切片,这会导致不同染色组织切片之间不可避免的错位。Zhang等[28]采用的多框架MVFStain可以通过H&E染色图像同时生成多个虚拟染色组织学图像,解决了一对一的组织病理学图像生成网络需要反复训练的问题。MVFStain网络结构由两个编码器和一个解码器组成,编码器负责编码内容和风格,解码器负责解码H&E染色的结构和目标功能染色的颜色空间,综合利用了多种染色信息,并直接生成了三张虚拟功能性染色图像。虽然H&E染色最常用,但特殊的染色剂可以为不同的组织成分提供额外的对比。Haan等[29]基于监督学习的染色转换,使用肾针穿刺活检组织切片,从H&E染色到特殊染色。这对一些紧急的医疗条件特别有用,如新月体性肾小球肾炎或移植排斥反应,快速和准确地诊断后迅速开始治疗可能会使临床结果得到显著改善。

2.3 紫外光声遥感

H&E是最常用的组织学染色介质,苏木精可将DNA染成紫色,伊红可将细胞质染成粉红色。Bell等[30]将250 nm图像的像素强度映射为紫色,以模拟苏木精染色,将420 nm图像映射为粉红色,模拟伊红染色;将紫外线光声显微镜(ultraviolet photoacoustic microscopy,UV-PAM)与深度学习相结合,可以为薄切片和厚的新鲜组织标本生成虚拟染色的组织学图像(称为Deep-PAM)。由于UV-PAM的组织非破坏性,成像完整的标本可以重复用于其他辅助试验。Kang等[31]对在传统组织学中的福尔马林固定石蜡包埋切片(7 µm厚)和冷冻切片(7 µm厚)使用Deep-PAM,能快速评估完整的新鲜组织(15 min内,约2 mm厚,表面积为5 mm × 5 mm的组织)。Martell等[32]采用 CycleGAN[12]用作骨干模型,在训练过程中,对前向路径和反向路径进行迭代更新,在测试过程中,使用训练有素的Generator A2B翻译出高度逼真的虚拟组织图像。光学相干层析成像(optical coherance tomography,OCT)和RCM就是这样两种具有较高空间分辨率和灵敏度的光学成像方式,但由于光的散射,其分子特异性较低[33-34]。Restall等[35]使用盲染色分离算法,从真实的H&E参考图像中提取H&E的颜色图谱,在与上述参考图像进行直方图匹配之前,将获得的光声遥感(photoacoustic remote sensing,PARS)和散射数据归一化到0到1之间的值。随后对两个数据集应用中值滤波,对虚拟苏木素图像应用10%的alpha阈值,然后将其叠加到虚拟伊红图像上,并应用虚拟彩色图。该方法具有在3.5 min内获得10 mm ×5 mm的虚拟H&E图像的能力,允许外科医生在手术过程中选择进行多个组织切除。

3 病理图像数据增强

深度学习方法在分割组织病理学图像方面取得了前所未有的高性能。然而,这种方法需要医学专家进行注释,推广性受到阻碍。由于注释有限,深度学习模型训练通常只覆盖组织病理学数据空间的有限部分,有标签的数据组和没有标签的数据组之间可能存在相当大的差异(在表观上)。Hollandi等[36]通过使用图像样式转移,从不包括在训练集中的源图像中创建具有纹理、颜色和模式元素的逼真的人工样本图像,自动将该样式模型适应于未知和未标记的数据,自动生成增强训练样本。这允许模型在新的和不同的试验中有效地识别细胞核而不需要专家注释,使得细胞核分割的深度学习较为简单。多模态无监督图像到图像的转换框架(multimodal unsupervised image-to-image translation,MUNIT)[37]将图像表示分解为内容和风格,并对提取的潜在图像内容提供一定程度的解释,不过源域和目标域重叠时不适用。两幅图像都来自同一个数据集时,MUNIT不能将一幅图像的样式转移到另一幅图像上。Wang等[38]设计了一个图像生成模块,图像内容和样式被分离并嵌入到一个对集群友好的空间中,通过内容和样式的采样和交叉组合合成新图像。相比交叉组合,Yamashita等[39]随机选择的非医学图像的无信息风格取代了组织病理学图像的风格(包括纹理、颜色和对比度),以艺术绘画、自然成像和组织病理成像作为风格来源(前两者采用与医学无关的风格转移,而后者采用与医学相关的风格转移),研究风格来源的差异对风格转移增强术(style transfer augmentation for histopathology,STRAP)性能的影响,以及风格系数的差异对STRAP性能的影响,使STRAP取得了更好的性能和泛化能力。Liu等[40]研究了CycleGAN和病理表征网络的使用,以克服CycleGAN的弱点,并帮助模型学习病理特征,不仅可以处理不同的细胞分析类型、光照条件和不同的成像方式,还能在增强过程中改变其样式的同时保留原始图像的结构。但是,这些模型只考虑一张图像作为参考图像,对染色向量的数量或分布进行假设。Moghadam等[41]利用神经网络提取颜色相关特征和结构特征。该方法通过利用GAN,不需要参考图像作为染色转移,也不需要特定的标签来保持结构,只需要目标样式的标签,可以进行多对一的染色转换,且不丢失颜色信息。

4 总结与展望

组织病理学图像被广泛认为是人类癌症诊断和预后的黄金标准。深度学习技术在计算机视觉领域的发展促进了人们对数字病理分析的研究。本文旨在就深度学习方法对数字H&E染色病理图像分析中的应用(包括染色归一化、虚拟染色、数据增强等)方面进行总结。之后的研究可以更加关注以下几个方面:1)基于深度学习相关特征的感知染色归一化,预处理后图像相关性增加,从而可能降低后续模型的泛化能力,研究颜色和纹理细节结合的生成对抗网络更具优势,结合注意机制、损失函数、色彩增强去优化模型的泛化能力。2)组织虚拟染色可以消除化学组织染色的不确定性,可作为快检辅助方法缩短样本的制作时间。由于虚拟染色容易引起误诊和分类错误,需要将虚拟染色技术应用于临床实践,对其有效性进行大规模的彻底的验证。3)组织病理图像的生成数据是基于某个特征进行生成的,合成的数据对任务的性能不一定有上升的效果,且采用医学无关数据进行风格转移可能会影响数据的真实性。因此,生成足够数量的高质量标签仍然需要病理学家付出巨大的努力。

猜你喜欢

组织学染色病理
无限路及其笛卡尔积、直积的孪生α-距离边染色
不同灸法对免疫抑制兔脾脏、胸腺影响的组织学研究
病理诊断是精准诊断和治疗的“定海神针”
花刺参幼参摄食和消化器官形态学和组织学研究
节水染色和非水介质染色技术的研究进展
若干Mycielski图的邻点扩展和可区别全染色
开展临床病理“一对一”教学培养独立行医的病理医生
《呼吸道感染牛分枝杆菌对肝脏和肠道影响的病理组织学观察》图版
两类图的b—染色数和研究
不一致性淋巴瘤1例及病理分析