武亮亮，薛业，吴毅松，王德健

（大连民族学院网络与信息技术中心，辽宁大连， 116605）

并行机群环境在网络资源平台建设中的应用

武亮亮，薛业，吴毅松，王德健

（大连民族学院网络与信息技术中心，辽宁大连， 116605）

引入广泛应用于并行计算领域的机群环境，采用多服务器分布式并行任务处理模式，组合NAS网络存储设备，提出了一种新的解决方案，使资源平台的管理和使用更加实用、稳定和高效。

并行，机群，网络存储，共享分布

随着网络应用的不断发展，多业务、多网络不断普及，高校网络资源平台的建设和使用势在必行，目前平台建设和使用多基于Ftp服务，Ftp是一种文件传输协议，在校园网内可使用户可靠高效地传送数据。随着平台建设广域发展，访问量日益增多，传统的单处理机模式已不能满足对平台使用的高效性和稳定性的要求，当在线人数达到超负荷时，则可能出现无限延迟等待甚至宕机。因此如何搭建更加安全稳定的网络资源平台，以方便师生高速有效地访问使用越显重要［1］。本文引入广泛应用于并行计算领域的机群环境，采用多服务器分布式并行任务处理模式，实现负载均衡高效的运行模式。

1 多处理机模式——并行机群环境

基于分布式存储技术的机群环境，通过提高局部节点的处理能力而使其成为所谓的超结点，广泛应用于高性能计算领域，例如石油勘探、气候模拟等，是满足高性能数据处理要求的有效途径，是目前计算机科学领域研究的热点之一［2］。机群系统较之传统的并行处理系统，具有成本低、开发周期短、投资风险低、系统扩展性好等优点。性能对比如图1。

图1 优化的机群系统性能

1.1 负载均衡策略

机群环境由分布在高速局域网上的多台服务器节点组成，通过将用户的Ftp请求按特定的分发策略重定向到不同的节点以达到负载平衡［3］。单个服务器节点往往采用基于进程调度的资源分配方法，根据应用的需求将Ftp请求划分为若干个子类，调整各子类的进程数量，从而达到服务分级的目的，如图2。在机群环境下，可以将所有服务节点的进程资源统一分配，同时在请求分发时，保证每台节点的同类资源被公平消耗。

图2 传统网络资源访问——多对多形式

网络资源平台前端是采用Web服务，影响用户使用感受最直接的因素是延迟等待，即排队时间和服务时间之和，是指从前端节点建立TCP连接，开始接受Ftp请求直到将应答响应移交给TCP连接的传输层协议所经历的时间。鉴于此，考虑采用最大空闲节点优先的负载均衡策略，以保证各服务节点能够协同合作、公平消耗，提高系统资源的利用率。

机群中的服务节点P0，是整个机群系统的核心，需要同时和客户端以及其他服务节点建立TCP连接，系统开销较大，实际应用中优先采用性能相对较高的硬件设备，避免成为系统瓶颈。所有节点采用进程每连接结构，为了实现不同优先级的业务子类，各节点的进程池相应地划分为若干个部分，进程池能容纳服务进程的个数称为进程配额，不同子类在相互隔离的池中接受服务。每个节点按照一致的分类准则，相同部署，可处理机群定义的所有业务子类，以FIFO的方式等待进程服务。前后节点通过心跳检测原理实现可靠的消息通讯，在每个心跳时刻，后续节点通过状态向前继节点报告，返回自己的状态信息，进程调度器根据前继节点返回的控制命令，调整当前服务节点各个业务类的进程配额，如图3。

图3 机群环境下超节点多处理器共享存储访问

将分布式共享的并行机群应用于网络资源平台的使用特点是:

（1）多节点多处理单元可负载均衡、安全高效地处理同时在线多用户提出的访问申请，减少用户延迟等待的时间，用户可在节点内进行任意的浏览和选择操作，将下载任务计入队列。

（2）下载任务顺次启动，根据最大空闲节点策略，可触发多节点并行下载，使得单用户下载速度成倍增长，整体访问速度大大提升。

1.2 机群环境搭建

?

相关操作:

（1）所有节点机均安装同一版本的Debian操作系统，最好采用相同的分区结构;

（2）统一设置用户（node0，node1，node2…）和根口令;

（3）关闭系统防火墙，开启apache，ftp，echo，rsh，nfs，netfs，telnet等相应的系统服务，并修改主机名:vim/etc/sysconfig/network例:HOSTNAME =node0（node1，node2…）;

（4）对所有节点进行同网段的IP网络设置，修改IP地址、网关等信息。

2 多存储模式——NAS网络存储

网络存储，是基于数据存储的通用网络术语，分为直连式存储DAS、网络存储设备NAS和存储网络SAN三种。其中NAS是一种专用数据存储设备，直接采用网络介质相连实现数据存储机制，避免增加服务器的I/O负载。如图4，NAS内嵌系统软件，提供跨平台文件共享，实现数据集中管理，不但具有SAN的共享数据和集中管理的优点，同时具有接入快捷、成本低、兼容性好、管理方便等特点，因此NAS已经逐渐成为企事业单位网络存储方案的主要选择之一［4］。

管道输水灌溉和滴灌的单井控制面积应根据公式（1）计算，并结合片区的空间分布确定，原则上采用的单井控制灌溉面积不小于计算值的10亩。喷灌工程的单井控制面积的确定还应结合喷灌机的选型确定。审查中要严格控制单井控制面积，一方面尽量少打井减少投资，另一方面可促进节水，避免水资源的浪费。

图4 NAS存储结构

2.1 共享分配策略

并行机群具有多种样式，这里采用的是分布式共享模式。由多个节点计算机通过消息传递网络互相连接，各个处理单元虽然拥有自己独立的局部存储器，但是信息资源主要存放于NAS网络共享存储空间，每个进程都有权利对共享地址空间进行存储访问，如果多个进程同时访问一个地址时，通过锁机制来协调处理。各个处理单元之间通过消息传递来交换信息和协调控制各个处理器的执行。

要实现机群服务的高可用性，就要确保服务进程在失效后能够快速重启，并且可靠恢复。经分析引入机群环境中的检查点机制［5］，其核心目标是:检查点信息的高效读写，提高机群服务的可用性;检查点信息的一致性，确保机群服务失效后能够根据检查点信息可靠地恢复服务状态。

如图5，根据机群检查点机制服务的核心目标，基于共享内存的并行机群环境设计思路是:

（1）基于共享内存的检查点信息读写。在机群系统的每个服务节点上启动一个检查点进程，维护本服务端和检查点进程都可以访问的共享内存;在此节点上运行的服务将其关键信息保存在该共享内存中，并在机群某一服务进程失效重启后，能够迅速通过检查点进程读出该服务的检查点信息，恢复服务状态。

（2）基于单向环状的检查点备份结构。将机群内所有检查点进程组成一个单向逻辑环结构，在该逻辑环中，检查点进程按照顺时针方向，向其前继节点备份检查点信息，当检查点进程失效重新启动后，检查点进程可根据在逻辑环中的备份信息，恢复失效前所维护的服务检查点信息。检查点进程T1将检查点信息备份到进程T2，进程T2将检查点信息备份到进程T3，依此类推。

图5 共享内存的并行机群环状检查点机制

由此，基于共享内存和检查点机制的机群环境，设计的核心思想是通过基于共享内存访问提高检查点的执行效率，并通过检查点间的备份结构降低内存作为非稳定存储带来的信息可靠性风险维护。根据机群可靠性理论，短时间内出现2次或更多次故障的概率近似为零。

2.2 网络存储搭建

2.2.2 具体操作:

（1）存储端

配置存储端网络

管理磁盘组，建立ISCSI和NAS两种类型的虚拟磁盘

Debian下调用的是ISCSI盘，选择local user验证模式，建立用户组和共享目录

（2）服务器节点终端

更新Debian系统资源获取列表sources.list，安装open－iscsi

添加相应存储节点iscsiadm–m discovery–t sendtargets–p 210.30.1.41:3260

磁盘分驱，设定文件格式fdisk/dev/sdb

挂接本地文件夹mount/dev/sdb1//var/ftp/开启iscsi服务/etc/init.d/open－iscsi start修改开机启动项/etc/rc.local

3 测试结果

网络中心并行机群环境根据实际情况搭建，网络资源平台建设小具规模，现供全校师生访问，运行一段时间以来，安全平稳，用户延迟等待和宕机现象明显改善，具体参考数据如下。

表1 机群共享存储环境下访问速度对比

表2 机群共享存储环境下服务性能对比

4 结语

通过测试结果来看，机群环境在网络资源平台中的应用得到了很好的效果，各方面性能都有所提升，基本解决了现阶段存在的问题，但是随着信息资源量和访问人数的日益增大，则还需要通过增加更多服务节点，优化负载均衡等方法，以达到最佳效果，有待于进一步研究。

［1］孙进康，陈章其.高校网络教学资源的建设与共享［J］.中国电化教育，2008（1）:60－63.

［2］郑晓薇，武亮亮.机群下基于网格的并行任务分配策略研究［J］.微电子学与计算机，2008（3）:134－136.

［3］郭成城，晏蒲柳.一种异构Web服务器集群动态负载均衡算法［J］.计算机学报，2005（2）:179－183.

［4］GAO Wen，CHEN Mingyu.A faster checkpointing and recovery algorithm with a hierarchical storage approach，Proc of the 8th Int conf on High—Performance computing inAsia.Pacific Region.Los Alamitos，CA:IEEE，ComputerSociety，2005:78－86。

［5］梁禄金，乔强.NAS存储技术在现代数字图书馆中的应用研究［J］.现代情报，2008（12）:99－101.

Application of Parallel Cluster in Network Resource Construction

WU Liang－liang，XUE Ye，WU Yi－song，WANG De－jian
（Network and Information Technology Center，Dalian Nationalities University，Dalian Liaoning 116600，China）

In this paper，we introduce the cluster environment，which widely applies in parallel computing field，into network resource construction.Adoptting mutiserver distributed parallel task treatment mode and NAS network memory equipment，we propose a kind of new solution which brings the administration and usage of resource platform more practicality，stability，and high－effect.

parallel;cluster;network memory;shared distribution

TP393

A

1009－315X（2012）03－0272－03

2011－12－13;最后

2012－03－26

武亮亮（1982－），女，辽宁锦州人，助理工程师，主要从事并行机群、数据安全研究。

（责任编辑 刘敏）