赵英燕，曹振南，蒋寻涯

(1. 南京航空航天大学电子信息工程学院，江苏 南京 211106；2. 曙光信息产业股份有限公司，北京 100193 ；3. 上海东峻信息科技有限公司，上海 200000)

1 引言

随着科学技术的快速进步，数值仿真软件在生物领域中的药物筛选[1]、大气科学领域的大气环境模拟[2]、材料科学领域的新型石墨烯纳米材料结构模拟[3]、航空航天领域的电大尺寸的电磁仿真[4]等多个领域的研究中起到越来越重要的作用，依托于高性能计算的数值模拟应用软件研制已经成为高性能计算(High Performance Computing，HPC)应用领域的研究热点[5，6]。另外，在电磁仿真计算中，数值仿真已经成为研究和设计电磁器件和系统的主流方法。数值实验的基础就是采用先进的电磁仿真软件系统。同时，随着新一代信息技术的飞速发展，工业软件化进程已步入快车道。当前，我国工业软件市场长期被国外企业占据，虽然国内已形成了一定数量的自主工业软件研发企业，但在工业设计、仿真软件等研发方面基础相对薄弱、研发力量和成果分散、工业仿真设计一体化云平台短缺，无法形成工业软件产业聚集和应用示范效应，严重制约了国家基础设施和科学创新步伐。通过汇聚相关领域的优势企业，开展工业云平台建设及应用，推动工业云平台应用与推广示范，实现高端装备关键领域的创新、研发、验证及应用的全生命周期业务可持续发展，营造工业云应用的良好生态，持续洞察工业领域的产业发展趋势和行业发展趋势。

目前，国内通用的高性能电磁仿真软件主要有来自于国外的基于时域有限差分法(FDTD)的CST软件、基于有限元算法的Ansys HFSS 软件和基于矩量法的FEKO软件[7]。本文通过基于FDTD和高频算法的国产电磁高性能数值软件EastWave在工业云平台的实现，进行软件的功能和系统架构调试，选取某客机案例，仿真计算机载的VHF天线方向图、内部场强以及内部线缆的感应电压，从而测试国产电磁高性能数值软件在工业云平台上的兼容性测试。此外，结合高性能数值软件研发过程中的实际需求，通过设计实现了高性能计算资源与高性能数值软件之间的工业云平台(Industrial Cloud Platform，ICP)，整合全国多个计算中心形成互联互通，实现了应用软件开发、集成、服务等范式创新的新模式[8，9]。ICP的实现为国产工业软件聚焦专注领域产品功能丰富、性能提升和用户解决高端装备制造典型工况场景问题等方面均提供有力的平台支撑。

2 ICP的架构介绍

2.1 ICP介绍

ICP采用云计算的方式整合不同时期、不同地域建设的多套高性能超算中心资源，面向高校、科研院所、制造企业等超算工业领域用户提出的超算算力需求，搭建统一计算服务平台，支持跨区域、多中心的计算资源、算例数据、应用软件等资源协同，实现资源一体化高效协同调度，以云应用的模式提供服务，建立安全可信的仿真云安全体系，保障数据、应用、业务安全，从传输、数据等多维度设置安全机制确保数据安全，并可根据用户实际需求定制化服务。ICP 主要解决了在异构平台下多 HPC 机群间的作业调度问题，用户可以通过计算服务平台提供的统一界面访问和使用不同平台、不同地域的高性能超算中心资源，提供高性能计算资源的工业云计算服务，有效整合异构高性能计算资源，提高高性能计算资源的利用率。

2.2 ICP系统架构

ICP系统架构包括资源层(IaaS)、平台层(PaaS)和用户层(SaaS)。IaaS包含集群软硬件计算环境；PaaS包含平台基础功能、工业应用软件、集群调度和运维软件等；SaaS指用户端工业制造领域应用场景。

技术层面上ICP采用B/S架构设计，使用Java语言开发，支持前后端分离。Tomcat作为Web容器，Mysql作为系统核心数据库，基于SSO进行用户统一认证，基于nginx技术实现负载均衡和高可用。支持Eshell命令行和Efile文件传输功能，同时集成了快传功能[10]。

平台访问层面可以通过常见主流浏览器访问，如Firefox、Chrome、Safari等，支持Windows、Mac操作系统访问，亦支持客户端形式访问。平台底层支持X86等多种异构[11]硬件资源调度，提供工业计算服务。

ICP系统总体架构图如图1 所示。

图1 ICP系统架构图

2.3 ICP主要功能

ICP具备调用多个异构高性能计算资源的功能，对计算资源软硬件环境进行统一管理、监控管理、运维管理和运营管理；基于Web界面在线为电磁仿真用户提供计算、数据和监控服务等；为确保电磁仿真用户使用过程中的数据安全性，具备用户权限分级管理功能等，主要功能如下：

1)概览页基础功能

概览页主要提供账户的统计信息与作业的统计信息，账户统计信息包含了账户余额、快速查看账户可用资源、可访问队列、存储资源的使用状态，以及平台提供的多样化服务。作业统计信息包括当前作业状态及历史作业的机时统计。

2)作业查看功能

作业查看功能包括当前作业和历史作业查看。当前作业查看包括作业ID、作业名、应用名、队列名、状态、开始时间、运行时长等；历史作业查看包括作业ID、作业名、应用名、队列名、状态、节点数、入队时间和结束时间、运行时长等。

3) 文件传输功能

包括E-file和跨中心文件上传和下载，其中E-file支持文件快传，用户跨中心支持两个或两个以上计算中心传输文件，点击传输列表可以管理传输任务，当前传输任务可以暂停/继续/取消，历史传输任务记录可以清除。

4)用户组管理功能

用户组管理员对应一个用户组账户，用来管理族账户、组成员等相关信息。其中包含修改用户基本信息、为用户组“添加新用户”、为用户组“添加已有用户”、修改用户组名额、用户组管理员为组成员分配存储和调整授权功能。

5)费用查询功能

显示用户及关联账户在对应的计算中心的费用，账单查询，消费明细查询，充值、退费和调整记录查询功能。

3 国产电磁软件性能的测试环境

国产电磁高性能数值软件之一的EastWave主要包含功能为支持模型导入、模型建模、激励源和边界条件设置、网格划分等前处理功能，求解器计算功能和后处理功能。同时，EastWave支持Windows/Linux平台下的单机多线程、多机分布式多进程并行求解计算和CPU的矢量化指令集加速关键技术等。将EastWave Windows版和Linux版分别部署在ICP上，具体集群软硬件测试环境如下：

1) 集群硬件测试环境

硬件测试环境采用国产处理器，包含通用计算节点(单节点配置为32核，128G内存和240GB SSD)、图形节点、管理节点、登录节点、分布式并行存储(可用容量超40TB)、200Gb/s IB交换机等。

2) 集群软件测试环境

操作系统为Linux Centos7.5 64位企业版；编译器为Intel Parallel Studio、Intel编译器，支持C/C++/Fortran、GNU编译器，支持C/C++/Fortran；MPI为OpenMP、OpenMPI、MPICH2、MVPAICH2并行环境；GPU开发环境为CUDA驱动、编译器、调试器、工具包、SDK等；CUDA FFT、CUDA BLAS等；数学库为MKL、ACML、BLAS、LAPACK、ScaLAPACK等。

4 典型工程算例

算例测试的主要目的是完成EastWave部署在ICP上的系统测试，验证EastWave在ICP上的稳定性和兼容性。具体采用EastWave对空客A380进行机载VHF天线方向图、内部场强以及内部线缆的感应电压的仿真计算。

4.1 计算模型

图2为空客A380民航飞机缩比模型和VHF刀型(切面)天线安装位置。尺寸为7.3m×8m×2.7m，天线的工作频率是从100 MHz到200 MHz。图3为A380飞机内部的线缆分布图，其中线缆的最小半径为0.16mm。

图2 空客A380的三维缩比模型和VHF天线

图3 空客A380内部线缆分布图

4.2 测试结果

使用EastWave前处理功能，选择时域有限差分求解器，导入A380全金属飞机模型，创建刀型天线，设置天线的激励源，采用集总端口，其中窗口是FR4材料，计算刀型天线安装在飞机腹部后的200MHz方向图与内部线缆的瞬态感应电压。在ICP上EastWave使用8个计算节点，共计256核，仿真计算运行消耗时间见表1。

表1 计算节点和运行时间

图4是机载天线与自由天线的反射系数S11，可见飞机对回波损耗的影响较小。

图4 机载天线与自由天线S11结果

图5 机载天线与自由空间天线的水平面方向图对比

图6 机载天线与自由空间天线的竖直面方向图对比

从图5可以看出，天线辐射方向图几乎在所有方位的电平都大于-5dB。在60°-80°与280°-325°间电平严重降低，原因在于天线安装在飞机的腹部和机翼的后面，机翼遮挡影响天线的辐射。

从图6的机载天线与自由空间天线的竖直面方向图对比可以看出，由于机身的遮挡效应，安装后的天线的0°到80°的方向性系数整体变差，平均下降了8dB。相比自由天线，80°-180°间的方向性系数影响较小，能够尽可能的减小飞机与地面的通信。

图7 机载天线的三维方向图

图7为天线安装在飞机底部时的三维方向图。由于该天线是向四周辐射(顶部与底部是-15dB以下)，四周辐射的强度从-5dB到5dB。

图8 客机A380电场分布图

图8是当天线工作时整个空间的电场分布。可以看出，由于天线置于飞机腹部能够向下辐射电磁波，其便于飞机与地面塔台间的通信。

图9 线缆的感应电压

图9是当天线正常工作时，飞机内部线缆的瞬态感应电压，其峰值电压是4.2×10-5V (设输入信号峰值电压是1V)。在良好的电缆铺设下，内部线缆的瞬态感应电压是不会对飞机内部其它设备造成影响。

5 结论

本文设计并实现了一种基于Web的部署高性能数值软件的ICP，并通过选用国产电磁数值软件EastWave在ICP进行空客A380缩比模型性能验证。整个计算过程稳定，计算效率高，验证了该平台的稳定性和可靠性。同时，该平台还具有相关的便捷的VNC终端、命令行终端和Web页面方便快捷地访问和不同类型的工业软件可以为计算机编程的数值软件研发和工程应用方面的人员使用，为国产数值软件在超算中心上高效使用提供了有力工具。