银温社　胡杨升　董青青

摘要：细胞癌是当今致死率最高的癌症之一，细胞癌恶化程度预测方法对治疗该病症具有重大意义。对细胞图像病理识别数据集中的癌症细胞切片进行检测，首先利用数据增加（DATA Augmentation，DA）技术，增加模型训练集和测试集，然后设计卷积神经网络训练和测试网络结构，再结合经验设置优化参数进行预测模型训练，从而为细胞癌恶化程度预测提供一个深度模型的检测手段。随着深度学习的发展和医学图像在临床上的应用，以及医学影像数据集的不断完善，该方法有望为医生诊断细胞癌恶化程度提供一种有效工具。

关键词关键词：深度学习；细胞癌；检测；卷积神经网络

DOIDOI：10.11907/rjdk.172498

中图分类号：TP301

文献标识码：A文章编号文章编号：16727800（2018）003001104

英文摘要Abstract：Cell carcinoma is one of the highest mortality rates in todays society. The prediction of cell cancer progression have a great significance for the treatment of this disease. In this paper， the cell image provided in the pathological identification data set by JuShuLi are detected. First， data augmentation is used to add the model training set and test set， and then， the convolution neural network training network structure and testing network is designed， the predictor model is trained by setting the optimization parameters combined with experience. Thus providing a depth detection method for the prediction of cell cancer progression. With the development of deep learning and the clinical application of medical images， the medical image data sets are constantly improved. This method is expected to provide an effective tool for doctors diagnose the deterioration of cell carcinoma.

英文关键词Key Words：deep learning； cell carcinoma； detection； convolution neural network

0引言

细胞是组成人体的最基本单位，其规则的生长衰变对人体健康至关重要。当出现不规则的生长情况时，病理学家可以对恶化细胞进行检测，以确定细胞是否恶化癌变。由于空间和时间上的基因异质性以及纹理和形状上的不确定性，尽管病理学家经验丰富，但诊断误差率仍有30%～40%。病理学家通过活体检测或医学影像主观地分析细胞的形态是否由正常的扁平梭状变成了恶化的球形、细胞核是否分叶、颜色是否淡化等特征，往往只能作出初步诊断，必须结合个人病史，甚至家族病史才能给出最终诊断结果。此类主观诊断方法周期很长，而且临床数据显示误诊率较高。因此，找到一种高效、准确的细胞癌恶化程度预测方法尤为重要。

癌症恶化程度预测方法备受关注，特别是随着特征提取、分类器、机器学习算法的产生以及深度学习思想的提出，这一领域研究很多。如张利文团队[1]提出了基于定量影像组学的肺肿瘤良恶性预测方法。该方法先通过雪橇自动生长对病灶区域进行分割，然后进行特征提取和特征选择，最后通过SVM训练预测模型，预测准确度在80%左右，但工作量较大。Rejintal 团队[2]提出的基于图像处理的白血病癌细胞检测方法，主要采用k均值分割、灰度共生矩阵和SVM分类器，但此方法提取特征較少，文章中没有给出识别精度。在相关研究基础上，本文提出一种基于深度学习的细胞癌恶化程度预测方法。

深度学习是机器学习研究的一个新领域，其目标在于建立能模拟人脑进行学习的神经网络来解释数据，通过组合低层特征形成更加抽象的高层特征，从而发现分布式特征。卷积神经网络是模拟人脑网络的一种，它不但具有尺度不变性，而且具有权值共享等特点[3]。卷积神经网络从特征提取到特征选择再到权值优化，模型构建完全组合在神经网络的隐含层内[4]，大大降低了复杂度。在预测方面，使用有监督的标记训练，模型预测结果就是标记对应值。

1预测模型及预测方法

1.1深度学习框架选择

本文选择开源的Caffe深度学习框架，其高效，简洁的特点是选择它的原因之一[5]，在图像识别和分类领域拥有大部分资源，很多图像领域的研究都是在Caffe框架下进行实验的，开源项目很多也可在GitHub上找到。当然在硬件方面，NVIDIA为其提供的多GPU加速也是选择Caffe的原因。

1.2卷积神经网络结构设计

卷积神经网络同感知机、BP神经网络、递归神经网络以及自适应共振理论一样，也属于人工神经网络的一种[69]。卷积神经网络经历了感受野和神经认知机两大阶段[1011]，它更加拟合于生物神经网络，其权值共享和可多维图片输入的特点，使其占领了人工智能的大部分领域，避免了例如SVM等监督学习模型的特征提取、特征选择和数据重建过程[12]，其尺度不变性也为卷积神经网络的发展奠定了技术基础。

训练网络结构输入层即数据层，设置批处理大小scale为64，此参数可根据实验者的计算机处理能力进行调整。因为本文是基于GPU训练的，所以设置批处理大小为64；对于数据导入文件，Caffe支持LMDB和LEVELDB两种类型文件，它们都是键/值对（Key/Value Pair）嵌入式数据库管理系统编程库。虽然LMDB的内存消耗是LEVELDB的1.1倍，但是LMDB的速度比LEVELDB快15%左右，所以本文选择数据导入文件为LMDB类型。为了把通道图像的像素值定在[0，1]区间内，设置scale為0.003 906 25。卷积层设置滤波器的权重学习率参数lr_mult为1，偏置学习率参数bias为2。一般bias为lr_mult的2倍，这样，收敛速度会有一个很好的提升；卷积核的个数、大小、步长以及是否有填充都对特征信息提取和最后的验证集预测产生较大影响，本文基于先验知识和经验分别设置卷积核个数为32，步长为1，卷积核大小为5×5，填充为1。因为服从高斯分布，可以将中心点作为原点，从而在正态曲线上分配权重和偏置参数，产生规整的特征映射图且支持稀疏性。使用高斯分布随机初始化卷积核，高斯分布标准差为0.001。对于池化层，因为细胞的纹理特征对预测恶化程度很重要，而最大值池化方法能够更好地保留纹理特征，因此使用最大值池化方法，经验性地设置池化窗口大小为3×3，窗口滑动步长为2。激活层使用RELU层，使用max（x，0）作为激活函数，当x>0时，输出x，当x≤0时，输出0。其具有稀疏性，并且可以很大程度地降低梯度。全连接层同卷积层一样，但是设置高斯分布标准差为0.1，设置输出类别数为5，输入类别数是和恶化程度级别数相同的。核函数对于准确度的提升也有一定的影响[13]，本文在第一个全连接层中使用sigmoid函数，在第二个全连接层也就是输出层中选择径向基函数，定义如下：

sigmoid函数：

φ（v）=tanhv2=1-exp-v1+exp（-v）（1）

径向基函数：

yj=∑hi=1wijexp-12σ2xp-ci2（2）

以上网络结构参数和方法函数可随需要进行调节，例如：如果用CPU预测模型，可以减小批处理大小，从而解决内存溢出问题；如果计算机内存不够，可考虑把训练集和测试集转化为LEVELDB类型作为输入文件，从而减小内存消耗；如果要进一步提高收敛速度和精度，可以制作均值文件。权重学习率参数、偏置学习率参数、卷积核个数、卷积核大小、步长、填充大小以及池化窗口大小和步长，可根据损失值和精度进行反馈调节。对于随机初始化卷积核的方式，也可选择常量初始化（constant）、均匀分布初始化（uniform）、xavier初始化、双线性初始化（bilinear）等方式；对于池化层，可选择均值池化和随机池化方法。均值池化有保留整体特征的特点，随机池化不会造成特征图的过度失真，以上池化方式也可穿插在各池化层中使用，以保证特征提取的整体性；对于激活层，可以用sigmoid函数代替RELU函数，但是sigmoid函数容易饱和，从而导致损失函数收敛较慢。具体训练网络结构如图1所示，预测模型结构如图2所示。

1.3学习率策略

随着数据集增加及网络结构变得更深，深度模型的训练往往会花费较长时间，所以如何选择或设计深度学习策略是提高收敛速度和减少训练时间的一个重要因素[14]。因为Solver优化方法包括多种学习策略[15]，所以在此介绍Slover方法。Slover方法是通过前向推断和反向梯度计算对参数进行更新从而减小loss。其定义为

L（W）=1D∑Dtfw（X（t））+λr（W）（3）

L（W）≈1N∑Ntfw（X（t））+λr（W）（4）

式（3）、式（4）中，D是给定的数据集，N为随机子集，N远远小于D，L（W）为平均损失，λ为权重，W为更新权重，fw（X（t））是数据中X（t）项的损失，r（W）是正则项。对于前向过程，计算fw即loss，对于反向过程，计算fw即梯度，然后根据梯度fw、正则项的梯度r（W）等计算参数更新W。

学习率策略很多，例如随机梯度下降SGD（Stochastic Gradient Descent）[16]、Adam（来源于adaptive moment estimation）[17]、AdaDelta[18]以及贺昱曜等[14]提出的组合型AdaMix学习率方法。利用Mnist数据集[19]进行手写数字识别模型训练，观察迭代过程，Adam、AdaDelta与SGD的训练损失（Train loss）、测试准确度（Test accuracy）和测试损失（Test loss）变化曲线如图3所示。

图3基于Adam、AdaDelta与SGD学习策略的Loss下降过程和Accuracy上升过程

从图3可以看出，基于Adam学习策略的识别准确度可达90%以上，但在迭代中会产生大的震荡，这不利于精度的稳定上升。基于AdaDelta学习策略的识别准确度也可达到90%以上，但其收敛速度过慢，而且迭代后期准确度难以提高。基于SGD学习策略的识别准确度将近100%，而且收敛速度很快，大约在迭代1 000次左右就已达98%的准确度。

SGD虽然不像Adam和AdaGrad（Adaptive Gradient）学习率优化方法一样是自适应优化方法，但根据函数本身的特点调节学习率大小，在很多情况下也不失为一种简单有效的优化方法[14]。本文沿用随机梯度下降方法SGD，其定义如下：

Vt+1=μVt-αL（Wt）（5）

Wt+1=Wt+Vt+1（6）

式（5）、式（6）中，Vt+1为本次更新值，Wt+1为本次权重，Vt为上次计算的更新值，Wt为当前权重，学习参数α和μ分别是负梯度权重和一次更新值的权重，L（Wt）为负梯度。

1.4数据选择

本文应用聚数力网络平台提供的细胞图像数据集的165张图片作为训练集和测试集原本（http：//dataju.cn/Dataju/web/datasetInstanceDetail/242），通过数据增加（DATA Augmentation，DA）把训练集扩展为4 950张，测试集为1 573张。数据增加通过旋转、变形、扭曲、裁剪以及噪声添加等功能增加数据集[20]，然后根据聚数力提供的恶化程度信息，分为良性健康、良性腺瘤、恶性中度分化、恶性中度至差分和惡性5类。训练集中包括21例良性健康、16例良性腺瘤、24例恶性中度分化、12例恶性中度至差分、12例恶性。测试集中包括21例良性健康、16例良性腺瘤、23例恶性中度分化、8例恶性中度至差分、12例恶性。

2实验结果

本文基于深度学习的细胞癌恶化程度预测模型，设计了深度学习训练网络结构和预测网络结构。预测网络结构相比训练网络结构没有训练和测试数据层，没有损失层和精度层，增加了测试图片的输入层和输出似然值的Softmax层。选择SGD作为本文学习策略。迭代170 000次进行模型训练，预测模型的最终训练损失值为0.016 889 6，测试损失值为0.035 688 9，预测准确度为 87.38%。利用训练出的恶化程度预测模型对5张不同恶化程度的图片进行预测，良性健康的预测准确率为87.21%，良性腺瘤的预测准确率为94.17%，恶性中度分化预测准确率为89.33%，恶性中度至差分预测准确度为81.58%，恶性预测准确度为90.91%，详细数据见表1。

本文训练预测模型的Loss下降和Accuracy上升曲线如图4所示。

3结语

细胞图像病理识别数据集中含有较少的无关信息，通过构建深度训练网络结构，从而训练出恶化程度预测模型，实验结果显示基于深度学习的细胞癌恶化程度预测方法的预测准确度达到87.38%。该模型可以辅助病理学家进行相关研究。本文方法有深度模型化及高准确预测的优点，可用于病理学家的临床研究中。

本文方法也可用于其它癌症的预测和分析，但如果数据集中含有较多的无关信息，建议首先对病灶区域进行分割，利用分割出来的病灶区域进行预测模型训练，这对提高预测准确度和解决过拟合很重要，后续将对本文方法的普适性进行分析和研究。随着国内外相关数据集的不断公开，深度学习样本会不断增加，预测准确率会相应提高。

参考文献参考文献：

[1]张利文，刘侠，王俊，等.基于定量影像组学的肺肿瘤良恶性预测方法[J].自动化学报，2017，43（2）：16.

[2]REJINTAL A， ASWINI N. Image processing based leukemia cancer cell detection[C]. Recent Trends in Electronics， Information & Communication Technology（RTEICT），2016.

[3]VINCENTP， LAROCHELLEH， BENGIOY， et al. Extracting and composing robust features with denoising autoencoders[C]. Proc of the 25th International Conference on Machine Learning， New York：ACM Press， 2008：10961103.

[4]JIFENG D， KAIMING H， JIAN S. Convolutional feature masking for joint object and stuff segmentation[C]. Computer Vision and Pattern Recognition （CVPR），2015.

[5]YANGQING J， SHELHAMER E， DONAHUE J， et al. Caffe：convolutional architecture for fast feature embedding[C]. Proceedings of The 22nd ACM International Conference on Multimedia， Orlando：ACM， 2014：675678.

[6]MCCULLOCH W S， PITTS W A. Logical calculus of the ideas immanent in nervous activity[J]. Journal of Symbolic Logic，1944，9（2）：4950.

[7]ROSENBLATT F. The perceptron： a probabilistic model for information storage and organization in the brain[J]. Psychological Review，1958，65（6）：386387.

[8]CARPENTER G A， GROSSBERG S， ROSEN D B. Fuzzy art： fast stable learning and categorization of analog patterns by an adaptive resonance system[J]. Neural Networks，1991，4（6）：759771.

[9]BENGIO Y. Learning deep architectures for AI[M]. Fundations & Trends in Machine Learning，2009.

[10]HUBEL D H， WIESEL T N. Receptive fields of single neurones in the cats striate cortex[J]. Journal of Physiology，1959，148（3）：574591.

[11]ALBERICO A. Analysis of the process of visual pattern recognition by the neocognitron： kunihiko fukushima[J]. Communications in Partial Differential Equations，2016（1）：2223.

[12]YIMING H， DI W， ZHIFEN Z， et al. Emdbased pulsed tig welding process porosity defect detection and defect diagnosis using GASVM[J]. Journal of Materials Processing Technology，2017，239（1）：92102.

[13]KAI Y， WEI X， YIHONG G. Deep learning with kernel regularization for visual recognition[C]. Proceedings of the TwentySecond Annual Conference on Neural Information Processing Systems， Vancouver：NIPS Proceedings，2008：18891896.

[14]贺昱曜，李宝奇.一种组合型的深度学习模型学习率策略[J].自动化学报，2016，42（6）：953958.

[15]乐毅，王斌.深度学习：Caffe之经典模型详解与实战[M].北京：电子工业出版社，2016.

[16]BORDES A， BOTTOU L， GALLINARI P. SGDQN： careful quasinewton stochastic gradient descent[J]. Journal of Machine Learning Research，2009，10（3）：17371754.

[17]KINGMA D P， BA J. Adam： a method for stochastic optimization[J]. Computer Science，2014（5）：156159.

[18]ZEILER M D.Adadelta： an adaptive learning rate method[J]. Computer Science，2012（6）：2428.

[19]LI D. The MNIST database of handwritten digit images for machine learning research[J]. IEEE Signal Processing Magazine，2012，29（6）：141142.

[20]SIMARD P Y， STEINKRAUS D， PLARR J C. Best practices for convolutional neural networks applied to visual document analysis[C]. Proceedings of The Seventh International Conference on Document Analysis and Recognition，2003：958.

責任编辑（责任编辑：杜能钢）