岳晓冬,刘思雯,袁 斌

(上海大学 计算机工程与科学学院, 上海 200444)

临床诊断过程中产生大量多种类型的医学影像,如X光、CT、核磁共振影像与病理影像,影像数据分析已经成为现代医学专家系统中的核心技术[1]。近年来,由于深度学习方法对于复杂数据的特征表示学习具有优势[2],深度神经网络模型被广泛应用于医学影像分割、分类与重构任务,并取得了良好应用效果[3-4]。用于疾病诊断的决策支持系统通常采用深度神经网络对医学影像进行分类以实现智能辅助诊断。然而,由于标注的训练数据有限、数据噪声、病灶表征不明确等因素影响,实际应用中的医学影像数据普遍包含不确定样例。对不确定影像数据直接应用深度学习方法进行强制确定分类可能导致严重病例误判,从而造成过高的系统决策风险。

对具有不确定性的数据样例进行不确定性分类(或拒绝识别分类),并据此实现延迟决策进行谨慎分类是降低数据分类风险的有效途径[5-6]。传统确定的分类方法严格地给每个数据样例分配类别标签,这对于具有不确定性的数据可能会产生牵强的分类结果,从而导致预测错误。不确定性分类通过度量数据的不确定性,识别出不确定样例作为拒识类别。在分类过程中划分出不确定数据进行后处理有助于减少决策误差,同时有利于通过人机交互将领域知识与专家经验纳入分类过程,例如癌症诊断决策支持系统中,如果系统能够识别出不确定病例并将其提交医生进行谨慎检查,就可以避免系统自主决策导致的误诊风险[7-8]。

作为不确定性决策的有效工具,三支决策为不确定性数据分类提供了理论依据[9]。基于三支决策的病例数据分类有助于区分不确定病例,延迟谨慎决策,通过人机协同有效降低系统决策风险。三支决策从具有不确定性的数据中提取决策规则,将数据空间划分为决策正域,负域与边界区域[10]。从分类视角看,3个区域分别对应数据确定属于此类别,确定不属于此类与不确定样例[11]。三支决策理论已经被用于拓展多种类型的确定分类器来构造不确定性数据分类方法,例如序贯决策学习[12]、线性分类器[13]、邻域分类器[14]等。然而，由于传统三支决策理论方法基于逻辑决策规则构造,现有多数基于三支决策的不确定性分类方法擅长分析结构化数据,对于图像等非结构化数据，不确定性分类存在应用局限,限制了三支决策不确定性分类方法在基于医学影像的决策支持系统中的应用。

针对该问题,本文将证据理论与深度神经网络相结合,拓展构造了证据深度神经网络,并针对医学影像不确定性分类任务,构造了基于证据深度神经网络的医学影像三支决策方法。方法采用证据理论表示神经网络预测输出的不确定性,并通过拓展神经网络目标函数，实现了不确定性分类过程中的证据优化,以提升证据神经网络对高风险类中不确定数据样例的识别能力。本文研究工作主要包括:

1)面向不确定性分类任务,拓展构造证据深度神经网络。将神经网络的分类预测输出作为分类证据,以证据为分布参数对分类预测的概率分布进行建模,并基于预测概率分布拓展构造证据神经网络的分类损失目标,损失目标包括预测误差和证据优化两项。在证据神经网络分类模型的优化过程中,在降低预测误差之外,高风险类数据的预测证据也将被优化调整。

2)应用证据深度神经网络设计三支决策分类方法,并用于医学影像不确定性分类。依据证据深度神经网络生成的分类证据,提出了分类信任与不确定性度量。不确定性度量综合了由“未知”和“冲突”引起的分类不确定性。参照三支决策理论,基于证据深度神经网络设计提出三支决策不确定性分类算法,通过设置不确定性阈值对神经网络分类预测的不确定度进行划分,从而识别确定与不确定影像数据。

1 相关工作

1.1 三支决策分类方法

三支决策理论建立在多种软计算模型及其不确定性决策方法的区域三分特性之上,包括区间集[15]、多值逻辑模型[16]、概念格模型[17-19]、粗糙集模型[10]、模糊集模型[20]、阴影集模型[21-22]等。通过增加不确定性决策选项,三支决策扩展了传统确定的决策模型。三支决策方法将论域划分为正域、负域和边界域,分别表示确定属于、确定不属于、不确定情况[10]。

给定论域样本集合U={x}与决策评价函数v:U→L,通过对决策评价进行阈值化处理,可以定义决策区域。假设(L,⪯)为决策评价的有序集,⪯表示全序关系,给定决策评价阈值αβ,则确定决策正域、确定决策负域、不确定性决策域的样本集合可定义为:

POSα,β(v)={x∈U|v(x)α|}；

NEGα,β(v)={x∈U|v(x)⪯β|}；

BNDα,β(v)={x∈U|αv(x)β|}。

通过将三支决策理论与多种数据分类方法相结合,可以实现数据的三支决策不确定性分类。三支决策分类方法包括三支代价敏感学习方法[23]、基于博弈论的三支分类方法[24]、邻域三支分类方法[25]、三支序贯规则分类方法[12]、三支主动学习方法[26]、三支半监督学习方法[27]等。三支决策分类方法的关键在于对分类过程中数据的不确定性进行度量,识别出具有不确定度高的数据进行延迟决策以降低分类风险。

鉴于可以有效降低不确定性数据的决策风险,三支决策分类方法已经被广泛应用于疾病辅助诊断[8]、网络安全[28]、推荐系统[29]、社交网络[30]、文本分析[31]等领域。现有的三支决策分类方法擅长处理结构化数据,如表格类型数据,但是缺乏对非结构化数据的特征学习能力,因此限制了三支决策分类方法在基于图像分析的专家系统中的应用。针对这一局限,本文将深度神经网络的特征学习优势与证据理论的不确定性表示度量优势相结合,提出了有效的影像三支决策分类方法。

1.2 基于证据理论的分类方法

Dempster-Shafer (D-S)证据理论被认为是一种广义概率,用来表示和处理数据与知识的不确定性[32]。证据理论基于信任函数来度量数据与知识的不确定性并使用Dempster规则对证据进行推理[33]。

证据理论信任函数与Dempster规则已经与多种分类算法相结合,用于处理数据分类中的不确定性。基于信任函数与Dempster规则度量、计算邻域分类中样本隶属度的不确定性,相关研究提出了证据k近邻算法,并通过参数优化,进一步改进了证据k近邻算法对于邻域初始化的鲁棒性[34]。通过从具有多个类别标记的样本中生成证据表示的原型样例,证据k近邻也可以实现多标记分类[35]。为了优化证据k近邻中的距离度量,Lian等提出了相似性测度学习来构建证据近邻分类[36]。通过引入样本背景信息,证据近邻分类被扩展为半监督学习算法,以应对少量类别标注条件下的数据分析需求[37]。

证据理论也被用于改进逻辑回归与支持向量机等线性分类算法。 Xu等提出了证据逻辑回归模型, 该模型将分类器的输出转换为可基于有限数据表示的信任函数[38], 相关研究也同样在多元逻辑回归中使用信任函数来实现多类别分类[39]。 Denoeux从证据理论视角重新讨论了基于距离的分类器、 逻辑回归与支持向量机算法, 发现证据理论可以成为不确定性数据分类的通用概率框架[40]。

除了近邻分类器与线性分类算法,证据理论也被应用于神经网络模型。Denoeux等提出了一种结合Dempster规则的多层神经网络用于自适应模式分类[41]。文献[42]从证据理论角度对前馈神经网络重新建模,将神经网络的模型输入转换为基本概率分配函数,并在神经网络的传播过程中采用Dempster规则对证据进行融合。近年来，证据理论也被用于描述深度神经网络的不确定性。Sensoy等采用证据理论度量深度卷积神经网络分类中的不确定性,构建了证据深度神经网络[43]。此外,证据深度神经网络也被用于构造不确定性数据分类算法[44-45]。

2 证据深度神经网络分类方法

相较于传统深度神经网络采用Softmax函数将神经网络预测输出值转变为类概率值进行分类,证据深度神经网络将网络输出视为模型在数据上提取采集到的关于预测分类的证据,并将证据强度作为参数构造分类预测的概率分布。对于二分类问题与多分类问题,证据深度神经网络分别采用Beta分布与Dirichlet分布来构建分类预测的概率分布[43]。

(1)

其中，B(αi)表示多元Beta函数。

根据Dirichlet分布期望的性质,可以进一步推导分类损失函数，得

(2)

基于上述性质可知,极小化证据分布表示的分类风险损失函数,将引导深度神经网络为每个样本提取关于其正确类别的更多证据,避免样本对于多个不同类别生成过于接近的证据(输出激活值)形成误分类。此外,在损失函数的优化过程中,神经网络也可以通过不断增强证据来缩小模型相对训练集的分类预测方差,形成更稳定的分类预测结果。

3 基于证据深度神经网络的医学影像三支决策方法

本文进一步拓展了基于证据深度神经网络的分类方法以实现有效的医学影像三支决策,具体步骤包括:首先，拓展证据神经网络目标函数以优化影像数据的分类证据;其次，由神经网络生成的证据形成影像分类的不确定性度量;最后，基于不确定性度量实现影像数据的三支决策分类。

3.1 拓展证据神经网络目标函数

(3)

其中，ρ=min(1.0,t/10)用于平衡目标函数中的两项,t为网络模型训练过程中epoch索引。在模型训练的初始阶段,ρ<1使得神经网络旨在降低预测误差。随着训练轮次增加,神经网络逐步重视证据优化。当t≥10时,预测误差与证据优化在神经网络目标函数中具有相同的重要性。

(1-pi)βi-1dpi

(4)

(5)

基于pi的概率密度,可以进一步构造pi相较于yi的预测误差期望,以此构造影像样本xi的预测误差项为

(1-pi)βi-1dpi

(6)

根据Beta分布的期望和方差的性质,推导可得预测误差项的计算公式为

(1-pi)βi-1dpi=

Epi(‖pi-yi‖2)=

(E(pi)-yi)2+var(pi)=

(7)

与预测误差项相似,本文也采用Beta分布及其概率密度函数来构造目标函数中的证据优化项。通过Kullback-Leibler(KL)散度减小当前模型输出的预测概率分布f与给定先验分布h之间的差异,以此优化调整神经网络生成的证据分布。

(8)

根据KL散度的定义,证据优化项可被简化为

(9)

根据Beta分布期望的性质,进一步推导证据优化项得到

(10)

其中，ψ(·)表示Digamma函数。

3.2 证据表示的不确定性度量

(11)

基于分类信任度,可以进一步定义xi在分类中的不确定性度量ui为

(12)

其中，ε设置为极小正数以避免分母为0。

图1 二分类证据分布的不确定性区域Fig.1 Uncertain region of evidence distribution for binary classification

图1展示了应用本文提出的证据神经网络对乳腺癌病理影像[46]进行二分类之后正类(癌症)影像数据的证据分布。可以发现，不同λ值下,证据优化项对于样本证据分布的优化效果,基于优化后的证据分布,可以很容易划分出确定与不确定正类影像的分布区域。由分类“未知”导致的不确定影像数据分布在左下角区域,此处正、负两类的信任度都较低,无法形成确定分类;由分类“冲突”导致的不确定影像数据分布在对角线区域,表示数据判定为正负两类具有相似的信任度。

3.3 基于不确定性度量的影像三支决策

基于分类信任度与不确定性度量,可以设计实现医学影像三支决策分类方法。不同于传统三支决策方法采用参数对(α,β)来划定不确定决策区域,本文提出的三支决策方法根据不确定性度量阈值来识别确定与不确定样例。

Cτ(xi,d)=

其中，参数τ为不确定性度量阈值,用于判定影像是否为不确定样例。鉴于数据分布的多样性,为τ设置确定的参数值通常比较困难。因此,本文通过设置分类任务中用户可接受的延迟决策数据比例(不确定样本判定比例)来自适应设置不确定性阈值。 将待分类的所有影像样本按照神经网络生成的不确定度量值从低到高排序, 选取前k%影像样本判定为不确定样例, 由此设置不确定性阈值。

4 实验结果

为了验证本文提出的基于证据深度神经网络的三支决策方法(EviDCNN-3WC)在医学影像不确定性分类中的有效性,将方法应用于乳腺浸润性导管癌影像(Breast IDC)[46]与肺炎X光影像(Chest Xray)[47]数据集进行实验。乳腺癌是女性最常见的癌症形式,浸润性导管癌是最常见的乳腺癌类型。Breast IDC数据集是一个二分类数据集,包含162个乳腺浸润性导管癌患者的病理影像,设置癌症病例为正类(风险类),正常病例为负类。每个患者的病理图像放大40倍,并被按照50×50像素尺寸分为277 524个切片,每个切片都被标记为是否带有浸润性导管癌区域,并用坐标的形式标记了该切片在患者整个病理图像中的位置。考虑到数据类别分布的非平衡性,实验中对数据进行了采样,筛选192 218张切片作为实验数据集,并以7∶1∶2为比例确定训练集、验证集和测试集。Chest Xray数据集包含2 838张X光胸片影像,其中15% 作为测试数据,其余作为训练数据,肺炎病例和正常病例分别设为正类(风险类)与负类。

在算法实现方面,以残差深度神经网络(resnet 18)[48]为基础模型构建证据深度神经网络,并将输出层的激活函数修改为ReLU函数,设置λ=3优化网络输出的正类证据分布,便于证据深度神经网络识别出高风险类的不确定影像数据。

为了综合评价所提出方法的不确定性分类效果, 实验采用准确度(accuracy)、 F1指标(F1 score)、 查准率(precision)、 查全率(recall rate)与决策代价(decision cost)等多个分类评价指标如下:

Accuracy=(TP+TN)/(P+N)

F1 score=(2*TP)/(2*TP+FN+FP)

Precision=TP/(TP+FN)

Recall Rate=TP/(TP+FN)

其中：N为负类样本数；P为正类样本数；TP和FP分别表示真正类与假正类样本数量；TN和FN分别表示真负类和假负类样本数量。设正确分类代价为0,costNP, costPN分别表示假正类错误代价与假负类错误代价。分类决策代价为

为了减少风险类(正类)样本的误分类,实验设置costPN=5, costNP=1。

实验首先比较基于证据深度神经网络的三支分类算法(EviDCNN-3WC)与其他深度神经网络不确定性分类算法,以验证本文提出的三支分类算法可以有效降低医学影像分类的决策风险。具体对比以下4种具有不确定性样本分类机制的深度神经网络分类算法:Resnet-MD、Resnet-PN与EvidentialNet分别采用Mahalanobis距离、softmax函数与证据理论度量残差神经网络分类结果的不确定性,从而形成不确定分类[43-45],SelectiveNet通过重构网络目标函数学习数据的不确定性度量,据此选择确定数据进行分类[49]。设置分类结果中不确定度最高的20%影像为不确定病例,表1对比展示了应用不同算法对乳腺浸润性导管癌影像进行不确定性分类的结果评价指标。

表1 不同算法在乳腺癌数据上的分类评价Tab.1 Comparison of Breast IDC classification

对比分类评价指标可以发现,在所有的深度神经网络不确定性分类方法中,本文提出的EviDCNN-3WC方法的分类准确率、正类召回率、F1值最高,决策代价最低,表明所提出的方法可以有效减少高风险类别(癌症病例)的误分类情况。为了进一步验证算法对于高风险不确定病例的识别能力，测试了不同分类算法在多个不确定性数据比率(拒绝识别比率)下的分类效果。图2,3分别给出了不同分类算法在不确定性数据比率从0到50%变化时,分类结果的正类召回率与决策代价。可以看出，在所有不确定性数据比率下,三支分类算法均达到了最优正类召回率与最低决策代价,表明本文提出的方法能稳定、有效地找出高风险类别的不确定影像延迟决策,从而降低了分类风险。

接下来，实验将基于肺炎X光影像数据进一步验证本文提出的三支分类方法检出不确定性病例的有效性。设置不确定性数据比率为10%,图4展示了由EviDCNN-3WC识别出的确定与不确定肺炎X光影像,以及对应的正、负类预测概率p+,p-与影像分类的不确定性度量u。图4A为确定负类(正常病例)的影像, 可见肺部区域非常清晰,而证据网络三支分类算法生成了高负类预测概率p-=0.91与低不确定度u=0.12来表示确定负类判定。 图4B为确定正类肺炎X光片,其中，肺部区域存在严重阴影。此时，EviDCNN-3WC也相应生成高的正类预测概率与低不确定度以表示确定正类判定。

图2 不同分类算法正类召回率随不确定性数据比率变化Fig.2 Recall rates of different classification methods with varying rejection rates

图3 不同分类算法决策代价随不确定性数据比率变化Fig.3 Decision costs of different classification methods with varying rejection rates

图4C，D展示了三支分类算法识别出的不确定肺部X光片。影像C中肺部区域整体清晰,但是胸部一侧存在少许暗影；影像D显示肺部区域有浅色阴影,但症状不明显。三支分类方法也相应形成低预测概率与高不确定度量值来表示不确定影像分类。识别出的不确定影像可延迟决策进行谨慎检查,以减少误分类的风险。实验结果表明,提出的证据神经网络三支分类算法可以实现医学影像准确分类,同时有效识别出不确定影像以降低分类风险。

A，B确定负类(正常)肺部影像与确定正类(肺炎)影像；C，D不确定负类与正类影像图4 肺炎影像三支分类结果Fig.4 Three-way classification results of pneumonia images

5 结语

在医学影像决策支持系统中,对于不确定影像数据采用确定分类方法进行识别可能造成严重的分类错误,导致过高的决策风险。三支决策为不确定性分类提供了理论支持,但是，传统三支决策方法对于数字图像等非结构化数据存在应用局限。针对问题,本文拓展了证据深度神经网络的目标函数,提出了可应用于医学影像不确定性分类的三支决策方法。大量医学影像实验数据表明，提出的方法可以有效降低医学影像分类的风险。未来将基于证据理论进一步研究深度神经网络分类过程中的不确定性度量机制。