张海龙，冶鑫晨，王　杰，聂　俊，陈龙飞,4，托乎提努尔， 崔辰州，李长华，朱　艳,4，张　萌,4

(1. 中国科学院新疆天文台，新疆 乌鲁木齐　830011；2. 中国科学院射电天文重点实验室，江苏 南京　210008； 3. 中国科学院国家天文台，北京　100101；4. 中国科学院大学，北京　100049)

天文学是一门基于观测和模拟的数据密集型科学，暗能量、暗物质、黑洞、宇宙起源、天体起源、生命起源等是天文学研究的前沿重大基础科学问题，解决这些问题的首要方法是观测，其次是利用高性能计算系统对海量真实或仿真数据进行建模和模拟分析，从而进一步揭示宇宙的奥秘。信息技术、高性能计算技术等的高速发展使得用计算机实现理论和实验研究成为可能，在这样的背景下，天文学家通过高性能计算系统进行科学研究成为必然趋势[1]。中国科学院新疆天文台几十年来致力于天文观测和理论研究，科研内容包括：脉冲星、恒星形成、活动星系核、射电及光学望远镜技术等，为提高数据处理和仿真分析的研究效率，结合自身科学研究需求搭建了高性能计算系统，命名为Taurus*http://taurus.xao.ac.cn/。

近些年基于图形处理器(Graphic Processing Unit, GPU)的并行计算技术已经成为高性能计算领域的研究热点，利用图形处理器可以大大加速科学分析、仿真等方面应用程序的运行速度[2]。图形处理器加速计算技术早在2007年由NVIDIA公司推出[3]，将计算密集型的任务提交图形处理器处理，同时中央处理器依然处理其余任务，可以有效提升数据处理的速度。在天文领域，图形处理器计算框架非常适合天文图像处理、宇宙学大尺度数值模拟、空间目标轨道模拟等，图形处理器计算框架已经在天文学研究中得到广泛的应用。

高性能计算系统的计算性能来自于多节点的并行计算，节点之间的数据传输、通讯是系统建设的关键[4]。Taurus高性能计算系统的建立使得新疆天文台在高性能计算支持上实现了零的突破，在未来的工作中Taurus高性能计算系统将助力于新疆天文台在天体演化模型研究、射电天文多相滤波器、相干及非相干消色散、数值模拟等多方面的科研工作。

1　Taurus高性能计算系统

1.1　系统拓扑

Taurus高性能计算系统采用CPU + GPU混合架构，目前整个系统由1个登陆节点、1个管理节点、16个计算节点、2个I/O节点、100 TB高速存储组成。每个计算节点配备了2颗12核心Intel Xeon E5-2692 v2 CPU，主频为2.20 GHz，64 GB内存，1个Nvidia Tesla K20 m GPU。计算与I/O节点之间通过56 Gb Infiniband交换机互联，以实现调整数据或消息传递。千兆以太网及智能平台管理接口(Intelligent Platform Management Interface, IPMI)网络用于集群系统管理，Taurus高性能计算系统拓扑结构如图1。

图1　Taurus高性能计算系统拓扑结构图Fig.1　Topology of Taurus

1.2　计算性能测试

Linpack[5]是国际上最流行的用于测试高性能计算机系统浮点性能的基准程序，也是世界排名TOP500超级计算机的标准测试软件。性能测试由多个64位双精度浮点运算组成，测试一个计算系统每秒可以进行的乘加计算次数(flops)。Linpack有3种基准测试，分别为Linpack 100、Linpack 1 000以及HPLinpack[6]。前两种基准测试不适合测试并行计算机集群，本文采用HPLinpack对Taurus 高性能计算系统进行测试。

1.2.1中央处理器性能测试

Taurus高性能计算系统共有16个计算节点，单个计算节点配置如表1。E5-2692v2每时钟周期可进行8次运算，Taurus高性能计算系统中央处理器双精度浮点理论计算能力为2.2 × 8 × 24 × 16=

6 758.4 Gflops。

HPLinpack是针对现代并行计算机提出的测试方法，其核心是利用高斯消元法求解一元N次幂稠密线性代数方程组，测试和评价高性能计算系统的浮点运算性能。Linpack的HPL.dat文件配置如表2，16节点中央处理器测试结果如表3。

最终测试结果表明，Taurus高性能计算系统中央处理器双精度浮点实际计算能力为6.289 Tflops，计算效率为6.289/6.758 4=93.06%。

表1　计算节点配置表Table 1　Compute node configuration

表2　中央处理器测试HPL.dat配置表Table 2　HPL.dat configuration table of CPU test

表3　16节点中央处理器测试结果Table 3　Test results of 16 CPU nodes

1.2.2图形处理器性能测试

Taurus高性能计算系统每个节点配备一块Nvidia Tesla K20m GPU，Tesla K20m是Nvidia推出的Kepler架构图形处理器，该图形处理器拥有2 496个CUDA核心，核心频率为706 MHz，存储器带宽为208 GB/s，Taurus高性能计算系统16节点图形处理器双精度浮点数理论计算能力为16 × 1.17e + 03Gflops=18.72 Tflops。

本文使用HPLinpack对单个节点图形处理器计算性能进行了测试，Linpack的HPL.dat文件配置如表4，单个Tesla K20m GPU不同Ns值测试结果如表5。

通过多次测试得到了Ns值的经验公式，如计算节点的总内存为M，节点的个数为N，系数为R，则：

Ns=ROUND(SQRT(M*N*1 024*1 024*R/8)/128, 0)*128

当R值在0.8到0.9之间时图形处理器集群可以得到最高测试结果。测试中Taurus高性能计算系统16个图形处理器节点最高计算峰值为14.882 Tflops，实际计算效率为14.882/18.72=79.5%。

表4　图形处理器测试HPL.dat配置表Table 4　HPL.dat configuration table of CPU test

1.3　存储系统性能测试

Taurus采用了Lustre[7]文件系统作为存储系统，存储容量为100 TB。存储架构为一个存储节点与两个扩展盘柜，扩展盘柜和中央存储节点直接使用SAS接口连接，使用回环模式。Lustre文件系统是一个开源的、基于对象存储技术的集群并行文件系统，可为Taurus提供可靠、安全、易用且可扩展的存储环境[8]。Lustre文件系统的架构图如图2。

Taurus存储使用集中管理方式，所有计算节点加载同一套存储系统。为了解决故障及I/O瓶颈问题[9]，存储控制器上两个独立的控制卡分别通过光纤和两个互为冗余的I/O节点连接，当其中一个I/O节点发生故障，另一个I/O节点立刻接管，保证了存储的稳定性。其次I/O节点和服务器之间采用56 Gb Infiniband[10]连接，支持多并发连接转换技术，具备高速数据传输能力。

表5　单个图形处理器测试结果Table 5　Test results of single GPU

通过文件系统基准测试工具IOZone对Taurus的文件系统进行了写入、读取、重读、重写、反向读、跨越式读、从文件中读、往文件中写、随机读取、预读取、内存映射文件I/O、异步I/O读取、异步I/O写入等测试[11]。测试中指定生成的测试文件应小于实际内存容量，否则影响测试结果。Taurus高性能计算系统多节点最高读取速度达到6 GB/s左右；写入速度如图3，当文件大小为256 MB且分块大小为16 MB时达到最快的写入速度650 MB/s。

图2　Lustre文件系统架构图Fig.2　File system architecture of Lustre

图3　Taurus高性能计算系统写入性能测试Fig.3　Write performance test of Taurus

1.4　软件环境

Taurus高性能计算系统采用PBS(Portable Batch System)集群调度器进行硬件资源的管理和分配，用户可以通过PBS提交作业脚本、查询作业状态信息、作业队列管理等操作。Taurus采用module管理软件版本及库函数版本等，方便用户配置环境变量。用户可以直接使用module切换python版本、MPI并行环境及编程模型等。图形处理器编程方面，每个计算节点支持CUDA运算架构，可以直接通过PBS提交数据密集型作业给图形处理器进行运算。

2　高性能计算系统应用

Taurus高性能计算系统建成后，30余名科研人员使用Taurus开展科研相关计算工作。

2.1　蒙特卡罗模拟分子云中的化学演化

天体化学是一门模拟各种各样分子在分子云中合成的学科，蒙特卡罗模拟是天体化学的一种常见模拟方法[12]。蒙特卡罗模拟方法是一种随机过程，用来模拟一个反应网络中某一个化学反应的发生。新疆天文台的天体化学课题组使用Taurus模拟在一个有尺度分布的系统中各种分子的化学演化，取分子云中的一个很小的体积作为一个系统，里面包含一个尘埃以及它周围的气体。这个系统中包含多种化学反应，可以通过计算系统对这些化学反应进行模拟，同时考虑多个尘埃时需并行共同演化，当达到一定条件后再对各个子系统进行混合处理，保证整个大系统处于一种均匀状态。

蒙特卡罗方法的缺点之一是耗时太长，在普通单机计算机上进行模拟二十万年演化时间尺度就需要数十天时间。而通过使用Taurus高性能计算系统，目前模拟二十万年演化时间尺度的时间约为7天。新疆天文台天体化学课题组使用Taurus高性能计算系统对不同分子演化使用蒙特卡罗方法模拟结果如图4。

图4不同分子演化模拟结果图
Fig.4Different molecular evolution simulation results

2.2　多相滤波及消干扰图形处理器加速

射频干扰(Radio Frequency Interference, RFI)的识别及消除的研究方面，如何快速准确地找出射频干扰，防止把真实信号误判为干扰是一项急需解决的技术难点。由于大口径望远镜数据的计算量非常大、射频干扰环境复杂，对射频干扰实时处理技术提出很大的挑战。新疆天文台研究人员正在实验使用CUDA加速消除射频干扰，目前已初步实现基于Taurus GPU的自适应射频干扰处理方法，并得到良好的效果，射频干扰处理结果如图5。使用Taurus高性能计算系统能够有效减少干扰处理消耗时间，为相干消色散实现提供了硬件平台。

2.3　Taurus高性能计算系统使用申请

Taurus高性能计算系统采用开放式管理，接受相关领域研究人员的申请，可将具体需求发送到zhanghailong@xao.ac.cn。Taurus平台详细使用说明及示例程序参见网站：http://taurus.xao.ac.cn。

图5利用Taurus GPU射频干扰处理前、后脉冲星信号轮廓对比
Fig.5Contrast of pulse profile by using Taurus GPU RFI before and after

3　结　论

根据新疆天文台科研计算需求建设了16节点的高性能计算系统。经过测试，所建设的超算系统中央处理器性能为理论值的93%，图形处理器性能为理论值的80%。Lustre存储系统多节点在分块大小为16 MB、分块文件大于256 M时取得较理想的写入速度，如果文件过小影响整个存储系统的性能。目前30余位用户在使用Taurus超算系统进行科学计算工作，在蒙特卡罗模拟分子云中的化学演化、多相滤波器组算法图形处理器加速等相关领域得到了较好的计算结果。