姚冰莹 杨薇 陈坚强 牛婷婷

摘  要：针对肝病早期的病理特征不够明显容易出现漏诊的问题以及引入噪声的肝脏CT图像容易导致疾病的误诊，提出了一种基于优化的随机森林的肝脏病变识别方法。首先通过PNet图像增强网络，实现噪声伪影抑制和细节对比度提升。将增强后的肝脏CT图像输入基于SENet与ResNeXt-152结合双通道重标定机制的网络提取二维特征并突出重要特征，使用改进的类C3D网络进行三维空间特征的提取，然后进行多维特征融合，实现肝脏CT图像的高级语义特征的提取。最后使用随机森林进行肝脏病变识别，使用3D断层扫描肝脏CT图像进行实验，达到较好的病变识别效果。

关键词：肝脏CT图像;深度学习;高级语义特征;随机森林;病变识别

中图分类号：TP18;TP391.4  文献标识码：A 文章编号：2096-4706（2021）18-0090-04

Abstract： Aiming at the problem that the early pathological features of liver disease are not obvious enough to cause missed diagnosis and the noise-introduced liver CT images easily lead to the misdiagnosis of diseases， a liver lesion recognition method based on optimized random forest is proposed. First， the PNet image enhancement network is used to achieve noise artifact suppression and detail contrast enhancement. The enhanced liver CT image is input into a network based on SENet and ResNeXt-152 and combined with a dual-channel recalibration mechanism to extract two-dimensional features and highlight important features， uses an improved C3D-like network to extract three-dimensional spatial features， and then perform multi-dimensional feature fusion. Realize the extraction of high-level semantic features of liver CT images. Finally， random forest is used to identify liver lesions， and 3D tomography liver CT images are used for experiments to achieve better lesion recognition results.

Keywords： liver CT image; deep learning; high-level semantic feature; random forest; lesion recognition

0  引  言

肝癌是当前世界上发病晚及死亡率较高的恶性疾病之一，并且全国各级医院医生的资质存在较大差异，同时在实际临床应用中，由于肝脏病变的纹理结构及其分布模式复杂且难以区分，单纯的人工读片会导致误诊、漏诊等问题。然而肝细胞癌的早期发现和早期病变的诊断和治疗，可以极大地促进患者的治疗和康复。近年来，随着图像处理、计算机可视化、模式识别等相关领域技术的发展，计算机辅助诊断逐渐成为未来辅助医学诊断的发展趋势，对于肝脏CT图像病变检测具有非常重要的意义。

肝脏CT图像病变识别研究经历了人工特征提取分类阶段和深度学习提取高级语义特征分类阶段。基于传统人工提取纹理特征的算法是进行肝脏病灶早期识别的重要理论基础之一。吴海涛等应用形态学开运算和填孔法提取肝脏区域，采用灰度直方图，灰度共生矩阵作为肝脏两类主要特征，使用改进特征选择的随机森林算法进行分类。Kirubakaran将Gabor变换的多尺度特征与局部二值模式算法得到的局部特征进行特征融合可将准确率提高到88.23%。这种方法虽然通过级联的方式获得了多尺度的特征信息，但没有从根本上突破人工提取特征的局限性，传统的手动特征提取方法仅限于低级纹理语义信息。Romero等人将提取的有效特征通过深度学习方法InceptionV3和ImageNet中训练得到有效特征的权重，病变类型的准确率可以达到96%。该网络的 Inception结构并行实现卷积和池化操作[4]，以获得图像更多的潜在特征。但没有区分特征的表达能力，因此当网络层数增加时会出现网络退化等问题。

相比之下通过深度学习提取的肝脏CT图像的高级语义特征可以准确弥补人工提取特征缺乏表现力的缺陷，高级语义特征具有更好的抽象性和抗干扰性。牛婷婷等构建了一个基于注意力机制的双通道重新校准模型，抑制无用特征并计算不同的特征通道权重，并将它们嵌入到Inception_ResNet_V2网络结构中。其次，我们在二维和三维卷积神经网络的基础上设计了全连接层，然后添加特征融合层来获取不同维度的深层语义信息。最后，使用预训练模型初始化网络结构并将融合的特征输入到XGBoost分类器中进行分类预测已经达到了较好的预测结果。

1  肝臟CT图像病变识别模型

本文针对3D断层扫描肝脏CT图像病变识别模型进行研究，肝脏CT图像病变识别模型应分为以下几个阶段：3D断层掃描肝脏CT图像的预处理;肝脏、肝脏肿瘤分割;深度学习提取的肝脏CT图像的高级语义特征[1];随机森林集成学习算法进行肝脏CT图像病变分类。建立肝脏CT图像病变识别模型，整体流程如图1所示。

2  3D肝脏CT图像的预处理

3D断层扫描肝脏CT图像是三维图像，CT图像无法直接分辨肝脏，不同的组织器官对应不同的放射剂量HU（Hounsfield Unit）。肝脏的放射剂量是+40到+60。首先使用pydicom库读取所有断层扫描图像。接着将肝脏CT图像灰度值转换为 HU：首先去除灰度值为-2 000的像素，CT扫描边界之外的灰度值固定为-2 000（dicom和mhd都是这个值）;第一步是设定这些值为0（即空气值）;变换到HU单元，乘以rescale比率并加上intercept。然后，进行重采样每一次CT扫描时，扫描的尺寸和间距可能不同，可以使用同构采样;常用的处理方法是从整个数据集中以固定的同构分辨率重新采样[1]，将所有的东西采样为1 mm×1 mm× 1 mm像素。然后将数据进行归一化，中心化，最后以nii格式保存。

3  肝脏、肝脏肿瘤分割

由于肝脏肿瘤的形状、大小、位置各异，并且病变区域与正常肝脏、肝脏与相邻器官之间的界限在肝脏CT图像中比较模糊，因此实现AI自动分割肝脏病灶存在非常大的难度。2019年在全球LiTS（Liver Tumor Segmentation Challenge）大赛中，TencentX团队提出了的自动分割肝脏和肝脏病灶算法，首先进行数据标准化的预处理以降低图像差异;在肝脏分割模块，设计了2.5D全卷积神经网络并借鉴空洞卷积模块挖掘肝脏的结构化信息;在肝脏肿瘤分割模块，设计了新型的辅助损失函数，使得网络有效挖掘肝脏肿瘤的空间信息，最后通过模型融合等处理，保证算法的精准性及可靠性。

4  肝脏CT图像的高级语义特征提取

由双卷积池化单元和非线性操作组成类C3D三维网络结构，用于提取肝脏CT图像的三维语义特征;ResNeXt-152与SENet网络构成双通道重校准机制网络结构，用于提取肝脏CT图像的二维语义特征并突出重要特征，最后，利用预训练模型初始化网络结构，将融合的多维度特征输入到随机森林分类器中进行分类预测[6]，基于深度学习的高语义特征提取结构如2图所示。

C3D包括卷积，池化，分类等，可用于提取3D肝脏CT图像的3D特征，可基于VGGNet的结构设计一个类C3D的网络架构SC3D，网络架构包含十个3D卷积层、五个激活函数、五个3D最大池化层、和两个全连接层。首先，将卷积层与激活函数结合起来，产生更多的非线性操作，更好地匹配图像特征。然后，在每两个卷积层之后增加一个池化层，形成一个固定的双卷积池化单元，在时间和空间维度上都进行采样，使得参数数量更小，网络结构更加精简。接下来使用MaxPooling技术进行池化操作，保证特征不变性和降维操作，池化模型更容易收敛。最后，插入两个全连接层和flattening函数，针对卷积层到全连接层的过渡以及多维输入的一维化。每个双卷积池化单元后面都附有一个Dropout操作，以防止模型参数引起的过拟合现象。输入大小是9×224×224个叠加图像的数组，其中9是提取的连续肝脏切片，224×224是每个肝脏切片图像的高度和宽度，卷积核大小固定为3×3×3。经过卷积层的非线性变换，生成3D张量，完成空间特征的提取。

特征重校准机制是一种作用于特征通道的注意力机制，为卷积通道分配不同的权重来区分特征重要性。SENet可以通过ResNeXt-152网络根据损失值突出特征差异，增大有效的feature map权重，减少效果小或者无效的feature map权重，以此方式训练模型达到更好的识别结果。模型的输入为双通道，引入最大池化层并保留特征图中最显着的特征信息，融合多个通道得到的不同特征，得到最终的通道权重。两个BatchNormalization结构和一个全连接层。这不仅是为了实现模型的快速收敛，降低过拟合现象、梯度消失问题的概率，而且使学习到的特征更容易拟合肝脏图像。优化后的结构，在输出特征中包含更多层的肝脏区域信息，扩大了不同特征之间的差异，削弱了无效特征的干扰。双通道重校准机制结构如图3所示。

在计算机视觉领域，特征融合是一种将不同视角的特征组合起来进行信息获取和补偿的常用策略。为了构建特征融合层，本文在卷积神经网络之后设计了一个统一维度的全连接层，并进行相同层的融合，以方便不同层次的对象信息的有效利用。也采用特征矩阵拼接的方法，在水平方向增强特征信息，得到最终的特征融合结果，输入到随机森林分类器进行分类预测。

5  随机森林集成分类器

随机森林（RF）是一种统计学习理论，采用bootstrap抽样法从训练集T中有放回的随机抽取出M个样本集S，作为样本Bagging，从全部K个特征中随机抽取一个特征子集（通常选取），从特征子集中选择最优分裂特征为样本Bagging建树。使用样本Bagging中的M棵决策树预测测试数据分类结果，并统计分类结果，选择投票数最多的类别作为最终的分类类别。随机森林的分类结果公式为[2]：

H（x）为随机森林组合分类器模型，hi为Bagging中单个决策树模型，Y表示类别标签。I（·）表示性函数[2]。通常使用OOB估计来衡量随机森林算法的泛化误差，因此，OOB估计可作为算法分类性能的指标。随机森林算法的泛化误差定义为[2]：

当子决策树数量达到一定还继续增大时，泛化误差会无限趋近于一个上界。其中，边缘函数mg（X，Y）为分类器平均正确分类数与平均错误分类数之差，mg（X，Y）越大，表示算法模型越好[2]。

scikit-learn中随机森林类库是RandomForestClassifier，随机森林需要调参的参数包括两部分：Bagging框架的参数和CART决策树的参数[3]。Bagging框架的参数包括：

（1）n_estimators：最大决策树的个数，太小欠拟合，太大过拟合，默认值100。

（2）oob_score：是否使用袋外样本来评估模型的泛化能力[3]，默认false，应设置为true。

（3）criterion：CART树做特征评价标准，选择绝对值差MAE。

CART决策树的参数包括：

（1）max_features：最大特征数选择log2，最多考虑log2N个特征。

（2）max_depth：决策树最大深度，10～100之间。

（3）min_samples_split：节点继续划分所需最小样本数，默认是2。

（4）min_samples_leaf：叶子节点最少样本数，低于此值兄弟节点将一起被剪枝，默认1。

（5）min_weight_fraction_leaf：叶子节点最小的样本权重，低于此值兄弟节点将一起被剪枝，默认0。

（6）max_leaf_nodes：限制最大叶子节点数，防止过拟合，默认是”None”。

（7）min_impurity_split：节点划分最小不纯度，此值限制决策树的增长，若低于此值，此节点不在生成叶子节点，默认值1e-7。

基于随机森林的肝脏CT病变识别模型分类性能的指标常用混淆矩阵的准确率、精确度、召回率、F值来描述，其中，TP和TN分別为正确分类的正类和反类样本数，FN和FP分别为错误分类的反类和正类的样本数。精确度为预测为正类的样本数中正确分类的正类样本所占比率。

召回率表示在所有正类样本数中正确分类的正类样本数占的比率。

F值对精确度和召回率进行了加权平均，是召回率和精确度的相对权重。

6  实验

实验可采用基于深度学习的 Keras2.2.4框架，数据集可使用2019年“大数据医疗——肝癌影像AI诊断”竞赛题所取的数据集共有7 398个肝脏序列，图像格式为Dicom文件格式，可将3/4为训练集，1/4为测试集，统一图像尺寸为224×224像素。分类模型网络中批处理大小为32，训练次数为100，并使用SGD优化器，设置学习率设为0.000 1，动量设为0.9，Dropout节点隐藏率设为0.5，交叉熵作为肝脏分类的损失函数，并根据损失值更新网络参数。分类器随机森林n_estimators设置100，oob_score设置为true，max_features设置为log2，max_depth不限制。同时把准确率和F1值作为评价指标对分类结果进行评估，测试的结果如表1所示。

从上表中可见ResNeXt-152+SENet+类C3D方式提取的肝脏CT图像多维高语义特征，并突出重要特征分类时的决策权重，具有较好的分类识别效果，证明了本文中分类方法的有效性。

7  结  论

本文对3D断层扫描肝脏CT图像病变识别模型进行研究，通过深度学习提取的肝脏CT图像的高级语义特征，包括通过类C3D网络完成空间特征的提取，SENet和ResNeXt- 152网络结合来区分特征重要性，使用随机森林进行肝脏病变识别，可达到较好的分类识别效果。

参考文献：

[1] 谷宇.基于深度卷积神经网络的CT影像肺结节检测技术研究 [D].上海：上海大学，2019.

[2] 武海涛.肝脏CT图像病变检测与识别应用研究 [D].杭州：浙江大学，2016.

[3] 刘晓虹.肝脏CT图像特征提取与识别的研究及系统实现 [D].镇江：江苏大学，2019.

[4] 傅言.基于图像分析的中医面诊及在肝病上的研究 [D].哈尔滨：哈尔滨工业大学，2007.

[5] 刘天宇.基于深度监督网络的肝脏及肝脏肿瘤CT影像自动分割算法研究 [D].兰州：兰州财经大学，2020.

[6] 牛婷婷.基于显著性算法的肝脏影像图像分类 [D].武汉：武汉科技大学，2021.

作者简介：姚冰莹（1988.02—），女，汉族，湖北荆州人，高级工程师，讲师，硕士研究生，研究方向：模式识别、云计算、Web系统。