曹斯铭，王晓华，王弘堃，曹 轶+

1.中物院高性能数值模拟软件中心，北京100088

2.北京应用物理与计算数学研究所，北京100088

科学数据可视化是领域专家发现和理解复杂现象的有效工具。高保真度的可视分析通常依赖于大规模科学模拟产生的耦合几何模型的高分辨率网格数据集，其时变数据量通常可达TB量级甚至更大规模。然而，随着超级计算机的峰值性能的快速提升，I/O存储设备的速度和容量却无法跟上计算能力的增长。当前，超级计算机的计算速度与存储速度、存储容量之间的差距越来越大[1]。由于这些超算系统没有足够的输入输出能力，大规模科学模拟应用保存所有高分辨率计算结果，再进行事后可视分析变得越来越不可行。如何克服大规模数据的数据存储瓶颈，实现高分辨率数据的流畅和高保真可视分析是近几年科学数据可视化领域重要的研究方向之一。

图像分辨率是关于图像中存储信息量的一种度量。图像的超分辨率重建是图像处理领域一个重要的研究课题，它在医学成像、卫星遥感、刑侦安防等领域都具有广泛的应用。例如，在医学成像领域，通过医学影像设备扫描得到的图像往往分辨率较低，超分辨率重建后的图像可以帮助医生更准确地进行病体定位、诊断病情；在卫星遥感领域，受卫星转运、通讯传输成本的限制，很难获得高分辨率的图像，超分辨率重建后的图像可以更好地进行地形地貌的绘制和勘探，帮助地质灾害监测、军事侦察；在刑侦安防领域，监控获取的运动图像往往是模糊的，检测到异常后通过对车牌、人脸等信息进行超分辨率重建，可以帮助快速定位嫌疑人、辅助治安管理。目前，图像超分辨率重建技术已经成为深度学习的研究热点之一。

在科学模拟时如果能够采用低分辨率网格，不仅有利于加速计算过程，而且可以极大降低输出的科学模拟数据量。如果能够在此基础上，采用超分辨率方法高效地重建高分辨率网格数据的可视分析结果，则极有希望解决由于超算存储瓶颈造成的高置信度可视分析问题。但截至目前，超分辨率重建在科学可视分析中的应用仍不多见。适应复杂科学模拟数据集合的超分辨率方法仍然有待开展研究。

为此，本文提出了一种面向大规模科学模拟面体混合数据的超分辨率重建方法。本研究的创新点如下：

（1）提出了一种面向面体混合数据超分辨率重建的端到端的深度神经网络（network for mixed surface-volume，MSV-Net），通过一系列非线性变换，实现从低分辨数据到高分辨数据的混合绘制映射的联合学习；该网络舍弃了全连接层，不仅可以减少网络参数，而且能够提升网络可复用性。

（2）构建了一个面向大规模电磁模拟应用的面体混合数据集（dataset for mixed surface-volume，MSVDataset）。该数据集由采用不透明几何模型绘制耦合半透明体绘制的混合绘制图像构成。该数据集可适用于多类可视化任务，如超分辨率重建、参数生成和集合模拟。

1 相关工作

（1）大规模科学数据可视化。1987年，原位可视化概念在超大规模计算的背景下被提出[2]。原位可视化将数值模拟与可视化处理紧密地结合起来，可以避免超级计算机的存储瓶颈问题。基于图像的可视分析方法，可被视为原位可视化的一种实际应用，它可以在没有原始科学数据的情况下实现交互可视分析。Ahrens 等[3]提出了一个基于图像的可视交互框架，该框架基于预先生成的图像数据集对科学数据进行交互可视分析。然而，原始的高分辨率模拟数据没有被存储，这限制了事后勘探的灵活性。体数据上采样是指依托低分辨率体数据生成高分辨率体数据。Zhou 等[4]提出了一种基于卷积神经网络的体数据上采样方法。该方法学习从低分辨率数据块到高分辨率数据块的端到端映射。但是，体数据上采样不适用于大规模数据可视分析，因为它给计算机存储带来了巨大的压力。当前，大规模科学数据的高保真可视分析，通常依赖大规模科学模拟产生的耦合几何模型的高分辨率网格数据。为此，本文针对大规模科学模拟面体混合数据的超分辨率重建问题展开研究，通过深度学习来解决数据存储和流畅交互的挑战问题。

（2）图像超分辨率重建。通常，分辨率越高的图像可以显示越详细的信息，这意味着具有更高的保真度。传统的超分辨率重建方法（最近邻插值、双线性插值[5]和双三次插值[6]）主要利用点周围的已知像素值来计算缺失的像素值。随着深度学习的快速发展，相关的方法被应用到图像超分辨率重建中。2015 年，Dong 等[7]提出了一种基于卷积神经网络的超分辨率重建算法模型。首先采用双三次插值将低分辨率图像放大到目标尺寸，然后采用三层卷积网络对非线性映射进行拟合，最后输出高分辨率图像。Dong等[8]改进了他们之前的方法，使得原始低分辨率图像可以直接输入到网络中。Shi等[9]提出了一种新的超分辨率图像重建方法，使用亚像素卷积对特征图进行上采样。这种上采样策略可以获得更好的数据重建效果。本文采用与Shi类似的方法，设计了基于深度学习技术的MSV-Net，用于大规模科学数据混合可视分析结果的超分辨率重建。

（3）科学数据可视化与深度学习。近年来，一些研究将深度学习技术用于科学数据可视化。体绘制和面绘制是科学可视化的两类主要方法。针对体绘制，Berger等[10]提出了一种利用生成模型合成和分析体绘制图像的技术，改进了现有基于光线投射或基于纹理的体绘制方法。针对面绘制，Weiss 等[11]采用卷积神经网络来减少等值面射线投射的样本数量。无论是重建表面的几何形状还是环境光遮挡，与全分辨率下的优化光线投射相比，他们的方法性能更高。针对半透明体绘制和不透明等值面绘制，Han等提出被用于空间和时间尺度时变数据的上采样方法[12-13]，目标是生成更高时空分辨率和细节的序列数据，实现时空超分辨率。但从已有文献可知，目前尚没有超分辨率可视分析研究能够同时考虑半透明体绘制结果和不透明面绘制结果。

2 MSV-Net &MSV-Dataset

本章将介绍面向面体混合数据超分辨率重建的端到端的深度神经网络与面向大规模电磁模拟应用的面体混合数据集。

2.1 MSV-Net

MSV-Net的结构示意图如图1所示，其中主要包含两部分，分别是数据预处理和超分辨率重建网络。首先，数据预处理阶段主要包括随机裁剪、图片筛选和下采样，输出一一对应的高、低分辨率图像对，用于下一步的神经网络训练、验证和测试。其次，训练阶段负责在每个训练图像中随机剪切n×n子块，保留背景占比80%以下的图片，将其视为目标高分辨率图像，然后采用双三次样条插值方法，基于下采样系数（重建系数）α对高分辨率图像进行下采样，得到对应的低分辨率图像，图像尺寸为nα×nα。随机裁剪策略不仅增加了训练样本的数量，而且加快了神经网络的收敛速度。最后，在验证和测试阶段，选择可被下采样系数整除的最大尺寸，随机提取图像子块作为目标高分辨率图像，同样采用双三次样条插值方法进行下采样得到对应的低分辨率图像，然后输入到训练好的模型中进行超分辨率重建，输出重建得到的超分辨率图像。

图1 MSV-Net的结构示意图Fig. 1 Overview of MSV-Net

MSV-Net 主要包含12 个残差单元和2 个亚像素卷积层。整个网络抛弃了全连接层，为全卷积网络。这些策略在减少网络参数和提升性能的同时增加了网络的可复用性。

MSV-Net 的超分辨率重建网络的主要组成部分为残差单元[14]，残差单元在浅层输出和深层输出之间创建了捷径连接，其表示特征的恒等映射。x是浅层输出，H(x)表示对x映射后的拟合结果，为深层输出。F(x)为夹在二者中间的网络结构所代表的变换，在MSV-Net中，F(x)由两个连续的3×3卷积层、批标准化和PReLU激活函数构成。当浅层输出x所代表的特征已经足够优秀，x的任何改变都会让损失变大的话，F(x)则会自动地趋向于学习变为0，x则从捷径连接的路径继续传递下去。这样就实现了当浅层输出已经足够优秀时，深层网络后面的层能够实现恒等映射作用的目的。这缓解了深度神经网络消失梯度和模型退化的问题。数学表示如下所示：

MSV-Net 中上采样部分采用了亚像素卷积。亚像素卷积是一种图像上采样的新方法，也称为像素重组。该结构减少了图像上采样过程中的人为干扰，并将图像上采样过程集成到网络学习中。与传统上采样方法相比，该方法能够更好地拟合像素之间的关系，得到全局最优解。假设希望将原始图像放大n倍，则需要生成n2相同大小的特征图。换言之，特征图通道的数量必须扩展n2倍。然后，将n2具有相同大小的特征图拼接在一起，形成一个放大n2倍的特征图。特征图通道的扩展可以通过普通的卷积运算来实现。亚像素卷积层的数量ns与重建系数α有关。数学表示如下所示：

此外，MSV-Net 舍弃了全连接层，为全卷积神经网络，因此在模型的训练、验证和测试阶段都非常灵活，不受图像大小的限制，可以接受任何图像大小作为输入。即使重建系数α发生变化，它仍然可以适应现有的模型，只需少量的训练进行微调。该策略不仅可以减少网络参数，而且能够提升网络的灵活性与可复用性。

2.2 MSV-Dataset

本文采用的原始数据源是基于并行应用框架[15]的电磁模拟应用程序产生的耦合几何模型的高分辨率网格数据，并且基于大规模可视分析平台[16]生成的可视分析数据集MSV-Dataset。该数据集由采用不透明几何模型绘制耦合半透明体绘制的混合绘制图像构成，如图2 所示。在电磁仿真应用中，领域专家通常关注电磁波击中无人机时的波前效应，这对应于图像中的一系列同心圆。

图2 MSV-Dataset可视化结果示例Fig. 2 Example of visualization results for MSV-Dataset

图3 显示了面向大规模电磁模拟应用的面体混合数据集构建过程的流程图。已有研究表明，标记数据的数量与质量直接影响深度学习模型的性能。与计算机视觉领域中易于采集的自然图像或视频不同，物理效应高保真的可视化结果必须由领域专家生成和验证，想要大规模生成非常困难。

图3 MSV-Dataset构建过程的流程图Fig. 3 Flow chart of MSV-Dataset building process

视点和传输函数的选择都是基于以前的研究工作[17-18]。视点大致均匀分布在模拟数据周围的球体上，换句话说，均匀分布在经度和纬度栅格上。在科学模拟数据的探索和分析中，颜色映射是传递数据信息的重要方法。色彩映射的载体是传输函数。图4 显示了无人机辐射屏蔽分析应用程序的线性映射和优化方法之间的颜色映射结果比较。从图2、图4可以看出本文构建的面体混合数据集具有高保真性，可以高质量地表现出更多物理效应场层次细节，波前效应显著。

图4 不同颜色传输函数对比Fig. 4 Comparison of different color transfer functions

表1 给出了MSV-Dataset 的相关信息，包括可视化结果及其对应的可视化参数。该数据集可适用于多类可视化任务，如超分辨率重建、参数生成和集合模拟。目前，该数据集仍在建设中。

表1 MSV-Dataset的相关信息Table 1 Information about MSV-Dataset

3 实验结果与分析

本文的实验平台为CentOS 7 系统，运用Python语言在Pytorch[19]深度学习框架下进行编写，该实验在24核Intel Xeon e5-2680v4 2.40 GHz浪潮服务器节点上进行，该节点CPU内存为16 GB，GPU为NVIDIA Tesla V100。MSV-Net 训练200 次需要27 h，当重建系数α发生变化，它也只需少量的训练进行微调，长期来看，本文方法比直接使用TeraVAP生成高分辨率的图像性价比高。

本文采用平均意见评分测试（mean opinion score，MOS）对不同的超分辨率重建方法进行量化评估。邀请了25 名观察者对这些图像进行主观定性评估。表2、表3列出了评估标准。表2是绝对评估，即观察者以真实图像作为参考，将每组待评估图像与真实图像进行比较，按相似度给出相应的评估值。表3是相对评估，即不告诉观察者哪一组为真实值。观察者对参与评估的多组图像相互进行比较，按评估标准给出相应的评估值。

表2 评价标准（绝对评价）Table 2 Evaluation criteria(absolute evaluation)

表3 评价标准（相对评价）Table 3 Evaluation criteria(relative evaluation)

每个观察者对819 个以随机顺序呈现的图像进行评分。表4、表5和图5展示了MOS测试的实验结果，表4、表5中，在MSV-Dataset的测试集上，将本文方法与多种传统方法和深度学习方法的性能进行了比较。这些方法包括传统方法（最近邻插值（nearest）、双线性插值（bilinear）、双三次插值（bicubic））和深度学习方法（加速超分辨率卷积神经网络（fast super resolution，FSR）、超分辨率残差网络（residual super resolution,RESR））。图5是对比实验结果的箱线图（绿色的小三角形表示评价的平均值）。对于相同的图像，发现评价结果没有显著差异。在绝对评估中，大多数观察者一致认为FSR 重建的图像质量最差，真实值（ground truth，GT）的图像质量最好；在相对评估中，大多数观察者一致认为FSR重建的图像质量最差，MSV-Net重建的图像质量最好。

表4 MSV-Dataset测试集上MSV-Net与其他方法的比较（绝对评价）Table 4 Comparison of MSV-Net with other methods on MSV-Dataset(absolute evaluation)

表5 MSV-Dataset测试集上MSV-Net与其他方法的比较（相对评价）Table 5 Comparison of MSV-Net with other methods on MSV-Dataset(relative evaluation)

图5 实验结果比较箱线图Fig. 5 Boxplot for comparison of experimental results

从表4、表5和图5可以看出，在真实图像未知的情况下，观察者认为MSV-Net 重建的图像质量优于其他方法重建的图像，甚至优于真实图像，这表明MSV-Net的准确性和有效性。为了评估MSV-Net的效率，表6列出了MSV-Net与直接使用TeraVAP生成高分辨率可视化结果的时间成本对比，从中可以看出，TeraVAP 绘制生成1 500×1 500 分辨率的图像需要66.28 s。但是，如果首先使用TeraVAP 绘制生成375×375 分辨率的图像，然后使用MSV-Net 进行超分辨率重建，只需要4.14 s。交互性能提升了约15倍。

表6 MSV-Net与直接使用TeraVAP的时间成本对比Table 6 Comparison of time cost between MSV-Net and using TeraVAP directly

图6～图9 展示了一些实验结果示例。可以看出，使用MSV-Net 重建的图像最接近真实图像，有时甚至比真实图像更清晰。其他重建方法存在不同程度的混叠、模糊和颜色变化问题。

图6 实验结果示例1Fig. 6 Example 1 of experimental results

图7 实验结果示例2Fig. 7 Example 2 of experimental results

图8 实验结果示例3Fig. 8 Example 3 of experimental results

图9 实验结果示例4Fig. 9 Example 4 of experimental results

4 结束语

本文提出了一个面向大规模科学模拟面体混合数据的超分辨率重建方法MSV-Net。采用该方法可以避免大规模数值模拟的数据存储瓶颈问题，实现高分辨率数据的流畅和高保真可视分析。实验结果验证了本文方法的有效性和高效性。此外，本文还构建了面向大规模电磁模拟应用的面体混合数据集MSV-Dataset，用于模型训练和验证。该数据集由不透明几何模型绘制耦合半透明体绘制的混合绘制图像构成，可适用于大规模科学模拟的多类可视化任务。未来将针对深度学习和科学可视化的融合进行更深入的研究，例如对序列数据的时空超分辨率重建、参数空间重建可视空间等。