汤红忠 李骁 张小刚 张东波 王翔 毛丽珍

组织病理图像包含大量复杂的病理信息,具有丰富的空间几何结构,细胞类型多样且形态各异.目前,组织病理图像的分析,主要依赖具有临床经验的病理学家寻找图像中的病理特征.随着远程治疗与精准治疗的提出,组织病理图像数量呈指数级增长,极大地增加了工作量.近几年来,机器学习与计算机辅助诊断技术(Computer aided diagnosis,CAD)得到了迅速的发展,自动提取组织病理图像中的判别性特征,辅助疾病诊断,已成为研究热点,并迅速引起国内外学者的关注[1−3].

病理图像的特征提取与分类是组织病理图像CAD系统的关键环节,对疾病诊断有着极其重要的作用.为此诸多学者提出了很多解决办法,主要分为两大类.1)基于像素级特征的分类.如细胞的大小与形态特征[1,4]、图像的灰度或彩色信息[5]、纹理特征[5−9]等.Tabesh等[5]提取了前列腺癌病理图像的颜色、纹理和形态学特征,并基于监督学习框架进行特征组合,然后对比了K-NN、支持向量机(Support vector machine,SVM)等分类方法的性能.Doyle等[6]尝试采用纹理和细胞核结构特征构造特征集,并采用SVM 实现了乳腺癌患病等级的鉴定.Li等[7]结合随机投影、局部二值模式(Local binary patterns,LBP)与独立子空间分析,提取了直肠息肉的三维纹理特征来鉴定疾病等级.Linder等[8]提取了肿瘤上皮与基质组织的LBP、LBP/C特征,并采用SVM 进行分类.2)基于空间结构与多尺度特征的分类.如尺度不变特征(Scale invariant feature,SIFT)[10]、小波特征[11]等;Irshad等[10]比较了纹理特征、SIFT特征、多级最大化模型(Hierarchical MAX,HMAX)特征对组织病理图像分类性能的影响.Ergin等[11]提取了方向梯度直方图(Histogram of oriented gradients,HOG)、稠密尺度不变特征(Dense scale invariant feature,DSIFT)与局部结构特征,并应用于乳腺癌组织病理图像的分类.上述方法提取的均为手工特征,特征冗余度高,且较适合特定图像集的分类问题,应用范围受到一定的限制.

近年来,Wright等[12]提出了基于稀疏表示的分类方法,并在组织病理图像[13−22]、语音信号[23]、SAR图像[24]、人脸图像[25−27]和图像超分辨算法[28]等领域得到了广泛应用.Srinivas等[13−14]提出一种同步稀疏模型,将组织病理图像中训练样本RGB三通道值作为字典,并利用测试样本的稀疏重构误差进行分类.Nayak等[15]提出了一种带稀疏约束的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)模型,实现肿瘤组织病理图像的特征提取及分类.Chang等[16−17]提出一种基于堆叠预测稀疏分解的字典学习方法,利用空间金字塔匹配(Spatial pyramid matching,SPM)方法对稀疏表示系数进行编码,并采用SVM实现了肿瘤的病理状态分类.Shi等[18]提出了一种基于联合稀疏编码的空间金字塔匹配方法,该方法利用RGB三个颜色通道信息,通过联合稀疏编码将灰度描述算子转化为彩色描述算子,提高了组织病理图像分类性能.Zhou等[19]提出一种面向组织病理图像的多光谱特征学习模型,该模型基于卷积稀疏编码自动学习一组卷积滤波算子,利用学习的滤波算子提取多通道的光谱特征,并采用SVM 进行分类.Shi等[20]基于多模式稀疏表示提出了一种肺部组织病理图像的分类方法(Multimodal sparse representation-based classification,mSRC),该方法利用遗传算法引导了颜色、形状和纹理三个子字典的学习,然后结合稀疏重构误差和多数投票算法对肺部组织病理图像进行分类.Xu等[21]基于堆栈式稀疏自编码器(Stacked sparse autoencoder,SSAE)进行乳腺癌组织病理图像的特征提取,并利用Softmax实现了组织病理图像中细胞核的检测.Zhang等[22]基于图方法实现了具有细胞核图像的全局与局部特征的融合,然后结合排序与多数投票算法对乳腺癌组织病理图像进行分类,并取得较好的效果.

上述方法引入图像的稀疏性可以有效提取图像特征,均属于无监督方式,提取的特征具有较好的重构性,但并不一定具有较好的判别性.Zhang等[25]利用监督学习思想,提出了一种判别性KSVD(Discriminative K-SVD,DK-SVD)字典学习方法,该方法主要通过优化分类器参数来提升字典的判别性.Jiang等[26]提出了基于类标一致KSVD(Label consistent K-SVD,LC-KSVD)的字典学习方法,通过引入样本类标信息,增加稀疏表示系数的判别性.Yang[27]提出一种Fisher判别字典学习(Fisher discrimination dictionary learning,FDDL)方法,该方法通过稀疏表示系数的Fisher准则约束来提高分类性能.上述文献主要通过约束分类器参数或者稀疏表示系数来间接提升字典的判别性能.

最近,Vu等[29]提出了一种面向判别性特征的字典学习(Discriminative feature-oriented dictionary learning,DFDL)方法,并应用于组织病理图像分类.DFDL方法引入了训练样本的类标信息,直接学习无病字典与有病的字典,并取得一定的分类性能.但是,组织病理图像空间几何结构丰富,细胞类型多样,同类图像中细胞形态与几何结构变化可能较大,非同类图像中细胞却存在一定的相似性,导致类内图像特征间的距离有可能大于类间图像特征间的距离.因此,DFDL方法所学习的有病字典与无病字典相似程度较高,对无病样本与有病样本的判别性仍然较低,分类性能依然有待于提高.

本文基于Fisher准则,提出了一种新的面向判别性特征的字典学习方法(Discriminative featureoriented dictionary learning based on Fisher criterion,FCDFDL),并应用于组织病理图像分类.

1 DFDL方法

Vu等[29]于2015年提出了一种面向判别性特征的字典学习方法(Discriminative featureoriented dictionary learning,DFDL),并应用于医学组织病理图像分类.其目标函数定义如下:

其中,Y和分别代表无病与有病的训练样本,D和分别代表无病与有病的字典,在本文中统称字典.XD和分别代表无病与有病样本在D下的稀疏表示系数,和分别代表无病与有病样本在下的稀疏表示系数.N和分别代表Y和的样本个数,L1,L2为稀疏度,ρ为正则化参数,且ρ>0.

式(1)和式(2)中,第1项都表示学习字典对同类样本的稀疏重构误差,第2项都表示学习字典对非同类样本的稀疏重构误差.通过最小化第1项并最大化第2项,可以直接学习无病字典与有病字典.DFDL方法在学习过程中没有考虑无病字典D与有病字典之间的差异,导致所学习的D与之间相似程度高,对无病样本与有病样本的稀疏表示系数判别性仍然较低,影响了组织病理图像的分类与疾病诊断性能.

2 FCDFDL方法

2.1 Fisher准则

其中,di是无病字典D中第i个原子,m是无病字典D中所有原子的均值,是有病字典中所有原子的均值.在字典学习阶段要保证无病字典D的类内距离更小,同时要保持与有病字典之间的距离更大,结合Fisher准则,本文构造的无病字典D惩罚项定义如下:

其中,矩阵M中列向量均为m,tr表示矩阵的迹.

2.2 FCDFDL模型构建及其优化求解

针对DFDL方法的不足,本文结合Fisher准则,提出一种FCDFDL方法,该方法最小化学习字典的类内距离的同时最大化学习字典的类间距离,以提升无病字典与有病字典之间的差异.其模型定义如下:

式(7)和式(8)目标函数中的第1项、第2项与DFDL方法保持一致.不同之处在于第3项,即基于Fisher准则构造了学习字典的惩罚项;与FDDL方法不同,本文利用Fisher准则直接约束了学习字典的类内距离与类间距离,而不是约束稀疏表示系数.通过交替优化式(7)和式(8),可以获得以下性能:

1)无病字典中原子分布更加紧凑,对无病样本具有更好的稀疏表示性能,同时抑制了对有病样本的稀疏表示性能.

2)有病字典中原子分布更加紧凑,对有病样本具有较好的稀疏表示性能,同时抑制了对无病样本的稀疏表示性能.

3)最大化无病字典与有病字典之间的距离,大大降低了无病字典与有病字典间的相似性,增强了学习字典对同类样本的重构性与对非同类样本的判别性.

式(7)和式(8)都是非凸优化问题,其求解一般通过反复执行稀疏编码与字典更新两个步骤直至收敛.FCDFDL模型求解步骤如下:

步骤1.稀疏编码

步骤1.1.固定无病字典D,计算训练样本在无病字典D下的稀疏表示系数,式(7)可重新定义为

步骤1.2.固定有病字典,计算训练样本在有病字典下的稀疏表示系数,式(8)可重新定义为

本文利用SPAMS工具箱1http://spams-devel.gforge.inria.fr/中的OMP[30]算法求解式(10).

步骤2.字典更新

步骤2.1.固定无病字典D下的稀疏编码系数,更新无病字典D,式(7)重新定义为

同时,忽略式(13)中的常数项,式(13)可化简为

步骤2.2.固定有病字典下训练样本的稀疏编码,更新有病字典,令,则式(8)可简化为

式(15)和式(16)均为凸函数,本文采用坐标梯度下降法可求出学习字典的最优解.

2.3 组织病理图像的分类器构造

基于第2.2节,利用所学习的字典对测试样本进行稀疏表示,可分别求出测试样本在无病字典D∗与有病字典下的稀疏重构误差,构造分类统计量实现组织病理图像的分类,具体分类步骤如下:

步骤1.将测试图像分块,将每个图块展开为一个列向量,随机选取多个图块组成测试样本H,利用

采用OMP方法求出H在下的稀疏编码系数;

步骤2.计算测试样本在D∗与下的重构误差向量,即

其中,diag{·}表示矩阵主对角线上的元素;

步骤3.定义分类向量

其中,NT为测试样本的个数;

步骤4.基于分类向量V,计算分类统计量S=.

当分类统计量S大于阈值Th,测试样本为无病样本;反之,测试样本则为有病样本.

2.4 本文方法的具体操作步骤

步骤1.输入无病训练样本Y与有病训练样本的,并分别从Y与中随机提取K个列向量初始化D与,初始化无病与有病的样本个数N与,稀疏度L1与L2,迭代次数,惩罚因子ρ,α,β;

步骤2.固定无病字典D,利用式(10)求在D下的稀疏编码系数;

步骤3.固定有病字典,利用式(10)求在的稀疏编码系数;

步骤4.固定无病字典D的稀疏编码,求P,Q,优化式(15)更新无病字典D;

步骤5.固定有病字典的稀疏编码,求I,J,优化式(16)更新有病字典;

步骤6.判断迭代是否完成,若没有完成迭代次数,加1转至步骤2;反之,迭代完成,输出学习的字典;

步骤7.基于学习字典,计算测试样本在D∗与下的稀疏重构误差,结合第2.3节构造分类统计量S而进行分类.

3 实验结果及分析

本文分别在ADL[31]与BreaKHis[32]数据集上验证了FCDFDL方法的有效性,并与其他方法进行对比分析.

3.1 ADL数据集的实验结果

1)ADL数据集及实验设置

ADL数据集宾夕法尼亚州立大学提供,包括肺、脾脏、肾脏三类器官,共计900多张图像.每类器官包括无病和有病两类样本,各150多张,尺寸为1360像素×1024像素.为了提高算法的计算效率,本文将所有图像归一化为600像素×600像素.如图1所示,图1(a)从左至右依次表示肺、脾脏、肾脏的无病图像,图1(b)从左至右依次表示肺、脾脏、肾脏的有病图像.

针对肺、脾脏、肾脏的彩色图像,在相应的无病与有病样本中分别随机选取40张图像作为训练集,剩余的110张图像作为测试集.然后,从每张训练图像中随机提取250个图块,则每类器官中无病与有病样本分别有10000个图块,并将每个图块的RGB三个通道值串成列向量作为训练样本Y,.其中,肺与脾脏图块尺寸为20像素×20像素,肾脏图块尺寸为30像素×30像素.以肺部图像为例,Y,∈R1200×10000,字典D,∈R1200×100,最大迭代次数为50.基于第2.4节的步骤,分别对肺、脾脏、肾脏图像进行分类.其中,肺部相关实验参数设置为ρ=0.001,α=1E−3,β=1E−3,脾脏相关实验参数设置为ρ=0.001,α=1E−2,β=0.1,肾脏相关实验参数设置为ρ=0.001,α=1E−2,β=1E−4(实验参数分析见第3.4节).

图1 肺、脾脏、肾脏的组织病理图像Fig.1 Lung,spleen and kidney images

2)FCDFDL与其他方法的实验对比

应用本文FCDFDL方法,在不同组织图像上,与WND-CHARM[33],SRC[12],SHIRC[13],LCKSVD[26],FDDL[27]和DFDL[29]进行分类性能对比.其中,WND-CHARM结合了对比度、像素及纹理等特征,并采用SVM分类;SRC和SHIRC方法中的字典并没有经过学习,采用稀疏重构误差进行分类.表1～3分别给出了肺、脾脏、肾脏的分类结果.表中结果是采用不同样本分别进行10次实验所取的平均值.

在表1～3中,第2行给出了不同方法下无病样本的正分率与错分率,第3行给出了不同方法下有病样本的错分率与正分率.可以看出,本文FCDFDL方法在肺、脾脏、肾脏的无病样本与有病样本中正分率都有所提高,错分率有所下降,具有更好的疾病诊断性能.特别对肺部图像的分类结果提升尤为明显(表1),与DFDL相比,本文方法的分类精度提升了2%～3%.表明本文学习的字典对同类样本具有更好的重构性,对非同类样本具有更好的判别性.

3.2 BreaKHis数据集的实验结果

1)BreaKHis数据集及相关实验设置

为进一步验证FCDFDL方法的有效性,本文将其应用于BreaKHis数据集中疾病类型的诊断.该数据集包括不同放大倍数(40×,100×,200×,400×)下82名患者的良性乳腺癌图像,包括腺病、纤维腺癌、叶状癌和管状腺癌四个类别,共计2368张.40×放大倍数下的腺病与叶状癌两种组织病理图像共计223张,其中,腺病图像为114张,叶状癌图像为109张.图2(a)表示腺病的组织病理图像,图2(b)表示叶状癌的组织病理图像.

表1 不同方法在肺部图像的分类结果对比Table 1 Classification results comparison of different methods on lung images

表2 不同方法在脾脏图像的分类结果对比Table 2 Classification results comparison of different methods on spleen images

表3 不同方法在肾脏图像的分类结果对比Table 3 Classification results comparison of different methods on kidney images

本文选取40×放大倍数下的腺病与叶状癌两种组织病理图像作为训练样本(这两种病理图像相似度较高),并将所有图像归一化为600像素×600像素.在腺病和叶状癌的彩色图像中各随机选取40张,每张图像提取250个图块,块的尺寸为20像素×20像素,则腺病与叶状癌样本分别为10000个图块.将每个图块的RGB三通道串成列向量作为训练样本,则Y,∈R1200×10000,字典D,∈R1200×100,最大迭代次数为50.采用本文第2.4节的步骤,分别学习了腺病字典与叶状癌字典,并利用测试样本在腺病字典与叶状癌字典上的稀疏重构误差进行分类.实验参数设置为:ρ=0.001,α=1E−3,β=1E−3.

2)FCDFDL与其他方法的实验对比

表4给出了FCDFDL与其他方法在BreaKHis数据集上的分类结果.

图2 腺病与叶状癌的组织病理图像Fig.2 The images of adenosis and phyllodes tumor

可以看出,与 WND-CHARM[33],SRC[12],SHIRC[13],LC-KSVD[26],FDDL[27],DFDL[29]方法相比,由于本文FCDFDL方法学习了判别性强的腺病字典与叶状癌字典,更能有效提取图像的分类特征,取得较好的分类效果.

3.3 学习字典的类间差异

为了进一步探究不同字典学习方法下所获得D与的类间差异,将FCDFDL方法与LC-KSVD,FDDL和DFDL进行主观与客观的比较.图3为不同方法基于不同组织图像的训练样本所学习的字典示意图.图3结果显示,与其他三种方法相比,本文方法学习的两类字典之间差异明显,相似程度大大降低.表明结合Fisher准则直接约束学习字典的类内距离与类间距离,通过优化目标函数式(7)与式(8),可以最小化学习字典的类内距离与最大化学习字典的类间距离.LC-KSVD,FDDL与DFDL方法学习的D与较为相似,主要原因在于LCKSVD与FDDL方法仅仅约束稀疏表示系数的判别性,而DFDL方法在优化过程中并没有考虑学习字典之间的差异.因此,这三种方法得到的学习字典之间相似度高,判别性弱.对比分析表明,本文FCDFDL方法学习的字典包含的细胞结构与纹理更丰富,颜色信息更全面,稀疏表示能力更强,具有更好判别性特征提取能力.

为客观衡量本文方法与LC-KSVD、FDDL和DFDL所学习的字典的类间差异,采用学习后的字典D与的距离作为评价指标(即),实验结果如图4所示.图4中横坐标表示不同的组织病理图像,纵坐标表示学习字典的类间距离,其值越大,说明两个字典之间的差异越明显.由此可知,与其他三种方法相比,本文方法学习字典的类间差异更为明显.因此,基于Fisher准则构造学习字典的惩罚项,可以大大降低学习字典之间的相似性,提高学习字典对非同类样本的判别能力.

3.4 实验参数分析

1)参数ρ,α,β的设置

表4 不同方法在BreaKHis数据库上的分类结果对比Table 4 Classification results comparison of different methods on BreaKHis dataset

图4 学习字典的类间差异Fig.4Inter-class differences between learnedDand

与DFDL方法相同,本文中参数ρ平衡了学习字典对类内样本与类间样本的重构误差,因此参数ρ的设定参考了DFDL方法给出的经验值ρ=0.001.不同之处在于FCDFDL方法增加了Fisher准则约束项惩罚因子α和β.图5给出了随参数α,β变化时,本文方法在不同组织病理图像的分类精度.从图5可以看出,肺部图像在α=1E−3,β=1E−3时分类性能达到最优;脾脏图像在α=1E−2,β=1E−4时分类性能达到最优;肾脏图像在α=1E−3,β=1E−3时分类性能达到最优;乳腺图像在α=1E−3,β=1E−3时分类性能达到最优.

2)图块尺寸的设置

随着图块尺寸变化,图6给出了本文方法在肺、脾脏、肾脏和乳腺的分类精度.由此可知,肺部、脾脏和乳腺图块尺寸取值为20像素×20像素时,肾脏图块尺寸取值为30像素×30像素时,本文方法的分类性能达到最优.因此,利用合适尺寸的图块作为训练样本,能更有效提取图像特征,取得较佳的分类效果.

4 总结

针对面向组织病理图像特征提取的字典学习方法存在学习的无病字典与有病字典相似程度高、判别性弱的问题,本文提出一种新的面向判别性特征的字典学习方法(FCDFDL).利用Fisher准则直接约束无病字典与有病字典的类内距离与类间距离,构建了字典学习函数的惩罚项,得到了判别性更强的无病字典与有病字典;同时,可最小化学习字典对同类样本的重构误差,并最大化学习字典对非同类样本的重构误差,获得了较好稀疏表示性能.最后,基于学习字典对测试样本的稀疏重构误差构建了分类器,实现了组织病理图像的二分类.在ADL数据集与BreaKHis数据集上的实验结果表明,本文方法能有效提取组织病理图像内在的分类特征,与同类其他算法相比,具有更好的分类性能.

图5 参数α,β的变化对不同病理图像分类精度的影响Fig.5 Classification accuracy with different parametersα,β on different pathological images

图6 FCDFDL方法下图块尺寸的变化对不同病理图像分类精度的影响Fig.6 Classification accuracy on different pathological images with different image block size,and with FCDFDL method