曹祺炜 王峰 牛锦

摘  要： 针对2D卷积神级网络不能够较好地提取各模态之间的差异信息，不同的图像层肿瘤大小差异显著，且分割精度低，单模态MRI无法清晰地反映GBM的不同组织结构，提出一种基于3D多池化卷积神经网络拟解决以上实际问题。将卷积神经网络应用到脑肿瘤分割上，并针对脑肿瘤的特点，提出3D多池化卷积神经网络模型，通过多尺度的输入与多尺度的下采样，且在后端使用条件随机场（CRF）使图片尽量在边界处分割，增加图像的分割精度，克服脑肿瘤的个体差异，同时适应脑肿瘤不同图像层之间的大小位置差异。通过对100例患者的多模态磁共振图像进行分割，Dice系数达到91.64%;MRI脑肿瘤分割的改进方法可使分割精度得到明显提高，可更好地提取各模态之间的差异信息，实现适应范围更广的MRI肿瘤分割，并准确有效地分割脑肿瘤。

关键词： 脑肿瘤; 医学图像分割; 多模态MRI; 差异信息提取; 多尺度采样; 3D卷积神经网络

中图分类号： TN911.73?34; TP399                    文献标识码： A                 文章编号： 1004?373X（2020）03?0074?04

Optimization of brain tumor medical image segmentation

based on 3D convolutional neural network

CAO Qiwei， WANG Feng， NIU Jin

（School of Information and Computer Science， Taiyuan University of Technology， Taiyuan 030024， China）

Abstract： A 3D?based multi?pooling convolutional neural network is proposed in view of the facts that the 2D convolutional neural network can′t extract the difference information among different modes with satisfaction， the differences of tumor size for different image layers are obvious， the image segmentation accuracy is low， and the single?mode MRI （magnetic resonance imaging） fails to clearly reflect the different tissue structures of GBM （glioblastoma multiforme）. The convolutional neural network is applied to brain tumor segmentation， and a 3D multi?pooling convolutional neural network model is proposed according to the characteristics of brain tumors. In the proposed model， multi?scale input and multi?scale down?sampling are implemented and CRF（conditional random field） is used at the rear?end to segment the image at the boundary as far as possible， so as to improve the image segmentation accuracy， eliminate the individual differences of brain tumor images and adapt to the size and position differences in different image layers of brain tumors. The Dice coefficient reached 91.64% by segmenting the multi?mode magnetic resonance images of 100 patients. The improved MRI brain tumor segmentation method can significantly improve the segmentation accuracy， better extract the difference information among various modes， adapt to a wider range of MRI tumor segmentation， and accurately and effectively segment brain tumors.

Keywords： brain tumor; medical image segmentation; multi?mode MRI; difference information extraction; multi?scale sampling; 3D convolutional neural network

0  引  言

医学图像中病灶的分割和定量评估为神经病理学的分析提供了有价值的信息，在规划治疗策略，监测疾病进展和预测患者结果中扮演重要角色。因此，图像的分割效率和准确性在医学病例分析、临床诊断以及治疗方面具有重要意义。本文基于2D多池化卷积神经网络基础，采用数学模型和高维重建方法对2D?CNNs（2D Convolutional Neural Networks）进行改进，提出基于3D多池化卷积神经网络解决以上实际问题。

本文提出一种多模态多池化3D卷积神经网络脑肿瘤图像分割方法。首先，将所有像素不一的图像进行预处理，获得统一像素为224×224的图像;随后，在前端使用3D?CCNs（3D Convolutional Neural Networks）进行特征提取，由于卷积和下采样操作造成特征图分辨率降低，采用多池化层的结果进行上采样之后来优化输出，后端使用CRF（Conditional Random Field）优化前端的输出，CRF能够使图片尽量在边界处分割，增加图像的分割精度。通过从100例患者的多模态MRI图像中提取信息，Dice系数为91.64%。结果表明，改进的MRI脑肿瘤分割方法显著提高了分割的准确性，较好地解决了当前目标分割任务繁重的问题，具有效率高、分割准确的优势。

1  相关理论

医学图像分割技术的发展是一个从人工分割到半自动分割再到自动分割逐步发展的过程。人工分割的精度高，但其分割结果完全取决于操作者的经验知识，存在一定的主观性，且方法费时、费力。而自动分割是由计算机完成图像分割的全过程，分割速度明显提高，已成为国内外众多学者不断研究与探索的热点[1?3]。

图像分割是指将一幅图像灰度、颜色、纹理和形状等特征分成若干互不重叠的子区域，使得每个子区域具有一定的相似性，而不同子區域有较为明显的差异。图像分割是图像识别、物体检测等任务的基础预处理工作。常用的图像分割方法有：基于阈值的分割、基于边缘的分割、基于区域的分割、基于图论的分割、基于能量泛函的分割、基于小波的分割、基于神经网络的分割等[4]。

2  基本方法

卷积神经网络CNN（Convolutional Neural Network）主要用来识别位移、缩放及其他形式扭曲不变性的二维图形[5]。由于CNN的特征检测层通过训练数据进行学习[6];再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习。卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局与实际的生物神经网络相似，权值共享降低了网络的复杂性，针对多维输入向量的图像，可以直接输入网络，避免特征提取和分类过程中数据重建的复杂度[7]。以图像作为直接输入，滑动的窗口在输入的图像上滑动时，窗口内的权值保持不变，参数的数量得到显著降低。网络的泛化能力得到提高，并且增加了计算效率[8]。

2.1  图像预处理

本文以100例脑肿瘤患者MRI图像为研究实例，平均每个患者有15～21张不同角度的图像序列，本文的多模态MRI主要包括T2，T1PRE，T1POST和FLAIR。在不同的模态下，组织图像呈现出不同的特征：肿瘤在T1POST呈现高信号，坏死部分在T1POST呈现低信号，而水肿部分在T2和FLAIR呈现高信号。本文根据这些特征，把病变组织从正常的组织中标记或分割出来[9]。

选取任一患者所有图像，对比度归一化，均衡直方图[10]，再将每三张灰度图编为一组，将每张灰度图的大小修改为224×224。3D脑部扫描的分割是通过独立处理每个2D切片来实现的，经过预处理之后的图像如图1所示。

2.2  3D卷积神经网络模型

经过预处理之后的MRI图像每个通道等同于一个二维矩阵，卷积核通过滑动窗口的方式，与输入图像的每个通道进行卷积运算，提取出不同类型的特征，称为特征图。本文的3D?CNNs模型结构如图2所示，从图2中可以看出，连续的3帧图像共同作为输入值，图像的规格均为224×224×224，网络的输入大小为224×224×3，卷积层[C1]共含有5个大小为5×5×3的3D卷积核，经过池化与卷积计算后，输出6幅特征图，特征图的大小为52×52×3，通过采样层计算后获得特征图大小为26×26×3，[C2]层同样共含有5个大小为5×5×3的3D卷积核，经过卷积后得24幅大小为22×22×1的特征图，然后降采样后得到24幅大小为11×11×1的特征图像。

在3D卷积神经网络整体模型结构中，为能缩小空间冗余的内容量，减少网络中的参数和计算量，在卷积层之后插入池化层，如图3所示。可在一定程度上避免过度拟合。

2.3  全连接的CRF

CRF使用一个单独的指数模型来表示在给定观测序列条件下整个序列标签的联合概率，不同状态下的不同特征能够相互进行平衡。同时，可以把CRF当作一个具有非规范化的转移概率的有限状态模型，进行学习之后可以得到一个定义良好的可能标注的概率分布。同时，训练的损失函数是凸函数，保证了全局收敛性。

CNN产生的分割标签映射趋于平滑且相邻体素共享较大的空间背景，训练过程中输入图像中的噪声仍可能导致一些输出偏差，采用完全连接的CRF（Conditional Random Field）作为后续处理步骤，以“净化”CNN结果并实现更加结构化的预测。CRF能够模拟任意大的体素邻域，计算效率高，适合处理3D多模式医学扫描。本文将条件随机场CRF的优势与之前3D卷积神经网络模型相结合，采用3D?CCNs+CRF模型分割结构（如图4所示）对医学图像进行处理，可使分割精度得到明显提高，较准确地分割脑肿瘤。

3  实验与分析