通常，脑疾病的分析与诊断依赖于组织结构显像较好的高分辨率MR图像，但是由于其扫描耗时过长，一般只用于特殊脑疾病的诊疗与脑科学研究，不用于常规疾病的筛查。临床常规的影像平扫序列主要包括T1、T2和T2 FLAIR，虽然层内分辨率比较高（≤1 mm），但是由于层厚或者层间距过大（4～7 mm），极大的限制了大脑子结构的定量评估，无法及时检测到一些脑疾病相关的微小结构变化。

基于深度学习的图像超分辨率重建算法，通过学习训练数据的分布特征，建立从低分辨率图像到高分辨率图像的映射关系，进而为低分辨率图像补充更多的高频信息，可以有效提升图像的分辨率，已经被广泛的用于图像信息增强方向。Dong等使用几个堆叠的卷积层实现了低分辨率图像到超分辨率图像的端到端映射；Li等提出在不过多增加网络参数的情况下，使用反馈机制可以有效提升神经网络在图像超分任务上的性能。Lan等提出增强的深度残差网络，极大的提升了图像的重建性能。但目前性能较好的算法均是基于二维自然图像特征进行设计的，由于自然图像与医学图像之间的差异，算法直接迁移到医学图像领域会导致性能大幅度下降的问题；同时，目前图像超分辨率领域获取的低分辨率数据一般是经由高分辨率图像下采样得到，与真实场景下的低分辨率数据存在着较大的差异，为算法实际使用带来了巨大的问题。而无需严格成对数据的无监督学习方法虽然在整体图像的重建上有着不俗的效果，但是对于某些细节部分缺乏有效约束手段，使得图像更加趋于平滑，导致一些微小结构更容易被忽略。

在这篇文章中，我们提出了一种基于结构约束的多模态医学图像超分方法（MSCSR），使用真实成对的多模态低-高分辨MRI数据，解决了模拟数据与真实数据之间存在的差异，不能很好的反应真实低分辨率图像重建性能的问题；同时，利用大脑的不同组织结构信息和不同方向采集的不同模态数据的纵向信息来提升网络对于医学图像的超分辨率重建性能，避免图像过于平滑带来的信息丢失问题。MSCSR模型首先利用图像超分辨率网络对输入的多模态低分辨率数据提取重要特征进行重建得到超分图像，然后对其进行脑组织分割，与高分辨率图像的分割结果作对比，约束超分网络向着二者一致的方向优化参数，从而使得重建结果保持医学图像特有的解剖结构特征。

1 材料和方法

1.1 实验数据

本文的实验数据来自南京金陵医院，包含379例同时采集的成对的低-高分辨率MRI数据（由高年资的放射科医生阅片选择，排除了包含局部性病灶以及严重异常的数据）。其中，低分辨率数据包括临床常规扫描的各向异性的T1，T2 FLAIR两个模态：T1空间分辨率为0.75×0.75×4.4 mm，轴状位分辨率较高，扫描层厚为4.4 mm，共30 层；T2 FLAIR 空间分辨率为0.86×4×0.86 mm，冠状位分辨率较高，扫描层厚为4 mm，共28层；高分辨率数据为T1模态，空间分辨率为0.5×0.5×1 mm的MPRAGE序列，扫描层厚为1 mm，共176层。所有被试随机分为两个数据集：60%作为训练集—230例用于模型训练，40%作为测试集—149例用于模型性能测试。

沥青混凝土的油石比主要是指在混凝土中加入的沥青、砂石以及一些其他填料的质量比。造成沥青油石比不稳定的主要因素包括以下两个方面：第一，混凝土配料中含有的泥土、灰尘的质量超标。泥土、灰尘如果超出规定的范围，即使经过除尘工序也不能完全将混合物料中的尘土清理干净，会导致当砂石与沥青混合的时候接触沥青的数量减少，即使经过碾压之后也很难成形；第二，系统计量秤产生误差，在物料称重过程中计量沥青的计量秤和计量其他矿粉的计量秤指针没有对准零点而产生偏移，一旦对物料的计量不准确就会对沥青的油石比影响很大。

1.2 数据预处理

图像预处理的步骤如图1所示。由于MRI图像的值仅代表了各个组织在成像过程中的相对值，我们将所有图像的灰度值都归一化到了[0,1]来减少同一组织在不同机器中具有不同的灰度值造成的误差。考虑到T1与T2 FLAIR图像的表现形式存在较大的差异，本文只选取了T2 FLAIR图像上的关键区域（ROI）即与大脑退行性疾病较为相关的皮层下核团（海马及周围的海马旁回和内嗅皮质）作为第二模态进行信息增强。通过分割工具获得了皮层下核团的掩膜，然后处理得到T2 FLAIR的皮层下核团图像。

1.3 模型

本研究提出一种MSCSR模型（图2），基于轴状位高分辨率的厚层T1加权图像，从冠状位高清的厚层T2 FLAIR模态获取关键区域的补充信息，来重建各向同性的高分辨率T1图像，并引入了解剖学结构信息作为约束，提升图像超分辨率重建性能。

图像超分辨率映射网络：作为图像超分辨率任务的主体结构，其作用是将低分辨率的厚层MRI映射为高分辨率薄层T1图像。我们的超分辨率网络架构基于增强的深度残差网络（EDSR），主要由32个残差模块和一个上采样模块构成。由于EDSR是针对于二维自然图像超分辨率任务提出的，并不是完全适用于医学图像领域的任务，我们针对本文的研究内容做了一定的改进。首先，在预处理阶段，我们通过插值的方法将低分辨率图像和高分辨率图像都变换都到了体素为1×1×1的标准高分辨率空间，在将低分辨率图像通过网络进行像素级别的信息增强之后，输出图像即为我们的目标高分辨率图像，无需再对输出结果进行尺寸扩充，所以对原EDSR网络中的上采样模块做了移除。其次，医学图像本身具有三维信息，整幅图作为输入，对计算机硬件的要求比较高，考虑到算力问题，我们将预处理之后的图像切块到[32,32,32]的大小作为图像超分辨率网络的输入。除此之外，为了更好的适应三维图像，我们将网络的卷积核修改为3D形式，同时提取关于(,,)三个方向的信息；由于原始低分辨率图像的分辨率均为层内高、层间低，为了更好的利用原始的图像信息，我们采取了各向异性卷积策略，即在高分辨率方向与低分辨率方向使用不同尺度的卷积核，尽可能多的保留原始高清信息，提高整体图像的超分重建质量。最后，在特征提取的残差块内，我们使用两个连续的1×3×3和3×1×1的卷积核替换了传统的3×3×3的卷积核来减少训练过程中使用的计算资源，提高网络的计算速度。在本文中，使用的超分辨率网络，主要由1个下采样模块，32个残差块，以及1个重建模块组成。下采样模块和残差块用来提取图像特征。其中下采样模块主要包含一个1×3×3大小的卷积层；每个特征提取的残差块都依次包含一个3×1×1卷积，一个1×3×3卷积，一个线性整流单元（ReLU），一个3×1×1卷积，一个1×3×3卷积和一个残差缩放因子为0.1的恒定缩放层（Scale），每个残差块的输入输出特征图都以跳层方式连接避免由于网络层数过大导致的梯度消失，增强网络的层间特征交流；重建模块包括两个3×3×3大小的卷积，第二个卷积输入为第一个卷积的输出和整个网络第一次下采样之后的特征图之和，促进图像低维度和高维度特征之间的交流融合（图3）。

“2017年，小岗村共接待游客25万人次，实现旅游直接收入213.5万元。小岗村作为中国农村改革的主要发源地，孕育了大包干精神和沈浩精神，不缺旅游资源。”杨永强说，可长期以来小岗村旅游“有人气无财气，有品牌无产品”。为此，杨永强和团队一起实施了“当年农家”扩建工程。

根据上面系统需求分析，笔者确定该系统的实现软件为客户机/服务器模型，又称为Client/Server体系结构。服务器Server通常采用高性能的工作站或PC小型机，并采用Client/Server架构数据库系统，如Sybase Oracle或SQL Server，负责供多个用户共享其信息和功能。客户端Client部分通常负责执行前台功能，如与用户交互，数据处理等。这种架构由多台计算机构成，它们有机地组合在一起，协同完成整个应用，并达到使系统中的软件、硬件资源得到最大限度的利用。

1.4 损失函数

为了提升图像的重建质量，我们提出在有监督的学习过程中，使用灰度值相似性，以及脑组织分割相似性来约束超分辨率网络的重建学习方向。

（四）注重输出实践。这里所指的语言输出是指在运用语言时，将重点放在话语的内容上而非形式上，以意义表达为核心。笔者认为，英语口语教学的研究重心应是输出练习的设计。英语口语练习原则上应遵循先易后难，先简后繁循序渐进的次序，语言形式先于语言内容；语言形式和语言内容先于交际规则；语言形式的流利性先于准确性和多样性；言之有物先于言之有理；交际规则中通用交际规则先于跨文化交际规则。

在上式中，表示一个图像块中像素点的总数，表示第个像素点。考虑到医学图像首先是属于图像范畴，所以我们加入了评估图像的结构相似性损失来约束超分图像和高分辨率图像之间在亮度、对比度和结构趋于一致。但是当图像信号的采集密度、用户的观看距离和人眼视觉系统的感知能力中的任何一项发生变化，对给定图像的主观评估也会随之发生改变，所以我们使用了多尺度的结构相似性（MS-SSIM）损失来增强网络对于图像的重建性能。MS-SSIM损失函数如下：

图像灰度值方面，我们在像素级别上使用重建的超分辨率图像（SR）和对应高分辨率图像（HR）之间的均方误差（MSE）损失作为监督。MSE损失函数如下：

4.论著中的图表（包括图表题和图表注）全部使用英文，要求图表自明。图表注内容包括分组设计、药物浓度、给药顺序、作用时间、指标测试时间、各种缩写的解释说明、对观察内容必要的描述和统计方法等。

此外，为了验证T2 FLAIR模态对于T1图像重建的有效性，本研究也使用单模态T1图像作为网络输入来进行超分辨率重建（SCSR），使用图像评价指标来评估重建质量。

MSCSR与4种对比方法和单模态T1图像作为输入的SCSR的重建结果以及真实采集的高分辨率3DT1的可视化结果，在脑沟、脑回和皮层下区域，插值的方法丢失了很较多细节；FSRCNN的重建结果有较为清晰的脑沟和脑回，但是皮层下核团粘连的现象比较严重；U-net有清晰的脑沟、脑回和皮层下结构，但是与HR相比，还存在较大的差异；SRFBN在前面几种方法的基础上有所改善，但一些细节部分与HR还是存在肉眼可见的差异；本文所提出的方法，在视觉效果上与HR图像最为接近（图4）。

除此之外，考虑到医学图像本身具有的解剖学意义，我们引入脑组织分割来提升网络对于大脑组织结构之间相关性的重建性能。我们使用现有的脑组织分割工具对网络重建出的SR图像与其对应的HR图像进行实时分割，获取包含背景、灰质、白质和脑脊液的组织分割图()tissue,tissue，并算分别两个图像中三个组织还有背景之间的分割系数（Dice）损失。Dice损失函数如下：

其中=4 为分割图的组织类别数，为[背景，灰质，白质，脑脊液]各个组织的权重系数矩阵，表示属于第类组织的像素点。实验过程中发现，分割图显示在图像超分辨率过程中各个组织的边界非常容易混淆在一起。为此，我们根据组织分割结果，得到每个HR图像上每个像素点距离最近的组织边界的距离，取这个距离的反比，作为组织边界的权重矩阵，在重建时通过加权的MSE损失为处于组织边界的像素点赋予更大的惩罚。

东营凹陷位于山东省东北部，勘探面积约5 850km2，是济阳坳陷油气资源最丰富的凹陷［1］。“九五”以来，东营凹陷进入以岩性油藏为主的隐蔽油气藏勘探阶段，至今上报岩性油藏探明储量近亿吨［2］。经过10余年的勘探开发，以东营凹陷中带为代表的岩性油藏发育区已进入较高勘探阶段，勘探对象向个体规模较小、埋深大、更复杂的岩性体转变。但是，少数探井难以探明和动用区块储量，勘探成果点多面少，难以实现规模效益，区块勘探周期过长，难以迅速转化为开发效益。为进一步提高岩性油藏勘探效益，降低开发风险，实现规模效益新突破，笔者提出岩性油藏精细勘探的设想。

所以，本文最终使用的损失函数为：

1.5 实验设置

本研究使用230例成对的T1、T2 FLAIR厚层图像与MPRAGE序列的T1图像进行模型训练，149例数据来评估模型性能。在整个过程中，网络的输入均为经过分辨率标准化、去颅骨、灰度值归一化、T2 FLAIR关键区域获取一系列预处理之后的图像。

训练中，模型采取自适应矩估计方法（Adam）进行优化；使用本文中提出的混合作为损失函数，进行监督学习；学习率设为5×10。整个模型基于PyTorch 深度学习框架，模型训练和测试均在安装了NVIDIATITAN Xp 12G的GPU显卡的计算机上进行。

实验过程中，我们为Loss选取的图像尺度=3，对应=[0.2,0.5,0.3]；Loss的各个组织的权重系数矩阵设置为=[0.01,1,1,1]；混合损失函数的超参数设置为=1，=0.5，=0.1。

对于超分辨率图像重建结果，我们使用两个客观的图像质量评价指标来评估超分辨率网络的重建性能，包括峰值信噪比（PSNR）和图像结构相似性（SSIM）。PSNR基于像素点间的误差，是使用范围最广泛的图像客观评价指标，但是没有考虑到人眼的视觉特性。所以我们还加入了SSIM这个指标来从图像的亮度、对比度和结构三个方面来对图像质量进行整体评价。此外，考虑到医学图像的临床使用价值，我们还对重建图像进行了脑组织体积测量精度的评估。

为了比较本文提出的方法在医学图像超分辨率任务上的有效性，我们在测试集上使用两个客观的图像质量评价指标对比了MSCSR模型与4种现有单一图像超分辨率方法的重建性能。对比方法分别为：基于传统方法的三线性插值，基于加速的浅层网络的超分辨率卷积神经网络（FSRCNN）,基于反馈机制的图像超分辨率反馈网络（SRFBN）以及基于U-net框架的图像超分辨率网络。在本文中除插值之外涉及到的3种神经网络对比方法，都将其使用的2D卷积替换为3D卷积以适应本文中的医学图像数据集，且均以单模态的厚层T1图像作为输入。

1.报社问题频发，竞争激烈。“微时代”环境下有的传统媒体的生存状况不容乐观，同时，传统媒体之间的竞争更加激烈，形成“适者生存，不适者被淘汰”的局面。据2014年4月23日《人民日报》报道，因虚假新闻问题，200余家报刊被查处，这种严峻情况反映了传统媒体已经出现了生存危机，纸质媒体的销路受阻，人们对纸媒态度的淡漠等问题凸现出来，一些新闻记者或编辑“铤而走险”，结果导致报社受到严重惩罚。

2 结果

其中，α为图像不同尺度下的参数，为图像最大的尺度，∈[1,]；(),，(,)，(,)分别表示两幅图像的亮度对比函数，对比度对比函数，结构对比函数，其定义如下：

同时，我们对几种方法在测试集上的超分辨率重建结果进行了图像量化分析，无论是PSNR还是SSIM，我们的方法都取得了最好的结果（表1）。

我们统计发现，按照体素为1 mm×1 mm×1 mm计算，成年人的脑组织总体积平均约为1 410 000个体素，其中灰质（GM）约占46%，白质（WM）约占34%，脑脊液（CSF）约占20%。在脑组织体积测量方面（高分辨率图像作为金标准），使用我们提出的方法与低分辨率图像（超分辨率重建网络的输入）相比，灰质体积的测量平均误差从3%降到了1%，白质体积平均误差从18%降到了2%，脑脊液从35%降到了8%。

3 讨论

近年来，由于真实成对的低-高分辨率医学图像数据的缺乏，在图像域上的超分辨重建方法，大部分都沿用自然图像领域的思想，即对采集的高分辨率据进行下采样来获得对应的低分辨率数据，使用模拟的低分辨率数据和真实高分辨率数据来设计超分辨率重建的方法。通常，在进行图像超分辨率重建时，很多方法都只考虑整体的图像质量，试图一个算法可以适用于一个模态的所有图像，而没有针对医学图像本身不同部位结构也会有所不同的特性。Shi等使用残差向量学习的方式对下采样之后的低分辨率脑部MRI图像进行空间分辨率的恢复，与使用FSRCNN网络的效果相比，在无脑肿瘤的图像上平均PSNR 增长了3.57 dB，SSIM增长了0.026，而在有脑肿瘤的图像上，增长分别仅为0.98和0.0126。

一些研究人员意识到，通过下采样得到的低分辨率数据与真实临床采集的低分辨率图像存在着极大的差异，仅使用一般下采样方式得到的低分辨率数据来设计医学图像的超分辨重建方法，不能很好的利用真实数据特征，会极大的限制这些方法的实际应用。Iglesias等分析了真实场景的低分辨率图像和高分辨率图像之间的差异，设计了一个数据生成器来生成更多的接近真实低分辨率数据的图像，来训练卷积神经网络，以期望可以更好的适用于临床数据分析，但由于仍然是使用模拟的数据进行学习，在真实数据上进行测试时，依然有较大的性能损失；Liu等使用大量成对的真实数据来对临床常规的MRI 脑图进行超分辨率重建，各项分析指标结果表明重建出的图像有较好的临床应用价值。

在本文中，我们使用了实际场景中采集的真实成对低-高分辨率数据，分别作为网络的输入与重建目标。测试集上的重建结果可视化显示，对于医学图像，如果只是按照一般图像超分辨率重建的方法，只从灰度值，以及图像整体的亮度、对比度和结构方面考虑（插值、FSRCNN、U-net、SRFBN），对于大脑这一类具有非常复杂的解剖结构的图像，就会损失掉非常多的可供参考的细节信息，比如灰质白质之间的界限，脑沟脑回的走向，甚至皮层下核团的体积，这样的超分辨率图像将是缺少临床使用价值的。所以考虑到医学图像本身的特性，在实验中引入了第二模态图像的关键区域作为信息补充，从不同角度获得重要区域的更多信息，同时将人体解剖结构的信息通过损失函数利用起来，使得重建出的超分辨率图像更为接近MRI设备直接采集出的高分辨率图像。

票据管理关。作为会计管理活动的重要依据，加强票据管理有利于保障会计资料的真实性。加强农村财务会计票据管理工作：一是对农村集体经济中产生的收入、支出等进行必要审计。二是各村购买物品及办公用品必须以票兑钱，没有税务部门得票据不得报销。三是对农村收费款项，则应该根据财务部门提供的各类凭证作为依据，开展相应的审计工作。四是对于“一事一议”过程之中产生的费用，必须使用相关部门监制的统一收费专票。对一切不合理的票据予以否决。

目前，非常多的医院临床常规扫描的影像均为厚层数据，而好的医学图像超分辨率方法将直接有利于常规诊疗流程对一些特殊疾病的及早筛查；除此之外，经过长时间的积累，每个医院都拥有数量可观的厚层影像数据，如果可以将这些历史数据通过超分辨率方法重建出更高分辨率的图像，那显然会对科研有较大的推动作用。

为了为未来计算机辅助诊断提供更好的选择，本文提出的方法仍然需要进一步的临床验证。