APP下载

AIX服务器网络最佳实践研究

2014-12-26杨敬巍朱东昭付载国孙长秋

移动通信 2014年22期

杨敬巍+朱东昭+付载国+孙长秋

【摘    要】主要介绍了AIX服务器接入VLAN网络的规划与设计技术,从高可用、高带宽、高效传输等角度,分析了不同配置场景下AIX服务器的网络行为,为AIX服务器管理员及架构师提供了参考。

【关键词】AIX服务器    VLAN    Portfast    BPDU    端口聚合

中图分类号:TP311    文献标识码:A    文章编号:1006-1010(2014)-22-0051-05

Research on Optimum Practice of AIX Server Network

YANG Jing-wei, ZHU Dong-zhao, FU Zai-guo, SUN Chang-qiu

(China Mobile Group Heilongjiang Co., Ltd., Harbin 150090, China)

[Abstract] The planning and design of AIX server accessing to VLAN are introduced in this paper. The network behavior of AIX server in different configuration scenes is analyzed in aspects of high availability, high bandwidth and highly efficient transmission to provide preference to AIX sever administrator and architect.

[Key words]AIX server    VLAN    Portfast    BPDU    port aggregation

1   概述

在企业的计算中心IT规划与设计过程中,网络是不可或缺的一部分。但网络设计不仅仅是网络管理员的责任,它需要IT基础架构设计师与网络架构师共同来完成。

本文将探讨IBM AIX(Advanced Interactive eXecutive)服务器在网络接入域的规划与设计技术,高带宽、高可用、负载均衡是网络设计过程需要考虑的重要因素,但在设计过程中还应兼顾网络故障后自愈性、易管理、易维护性等指标。

2   网络端口属性

AIX服务器网络适配器接入网络时,网络端口属性决定了启动和恢复时延以及网络的稳定性。

2.1  Portfast及Linkfast

在部分主流智能交换机端口上,为防止二层网络形成环路引起网络风暴,会在全部网络端口上启用STP协议。

在服务器连接入交换机时,根据不同的STP协议,交换机端口需要十几至50秒才能进入转发状态。当网络端口因网线故障或人为原因宕掉以后,也会经历超过30秒才能恢复通信,这样可能会对一些系统应用造成一定影响。例如,Oracle RAC的默认misscount为30秒,当Oracle RAC仅有网络心跳在工作时,单网络适配器心跳线中断,Oracle RAC集群就会驱逐节点;同样,HACMP(High Availability Cluster Muti-Processing,高可用性集群多处理)默认网络心跳超时为20秒,只有网络做心跳时,单网络适配器心跳线中断,会引起HACMP进入集群分裂状态。

在生产系统中,一个Oracle RAC或HACMP集群,网络心跳链路通常采用多条,同时配置磁盘等多种心跳机制,单网络适配器或单链路故障引起的集群驱逐节点现象、分裂状态并不会频繁发生。

为保证网络在链路闪断通信能正常恢复,避免引起临时通信中断,建议还是在AIX服务器接入端口上启用Portfast属性,以加快终端主机连接入STP网络的收敛。如果AIX服务器使用多个VLAN与交换机通信,则需要启动Trunk功能,此时需要在交换机上配置Linkfast。通过实际测试结果表明,配置Portfast或Linkfast之后,网络适配器或链路闪断通信恢复时间一般在5秒以内。

2.2  BPDU Guard

当交换机端口启用Portfast/Linkfast后,一般不应连接至交换设备,如果将这个端口错误地连接至交换设备,并且此设备产生自有环路,它将向上联机换机发出BPDU。在此端口启用BPDU Guard时,就会把它立刻设为Error-Disabled状态,此端口将会被关闭,不会转发任何数据,也就切断了环路,保护了整个网络。

3   端口聚合

不同厂商交换机的端口聚合采用不同术语,最广泛使用的是Cisco提出的EtherChannel,另外还有基于标准的IEEE 802.3ad LACP,而本文将采用EtherChannel代表端口聚合。

AIX的EtherChannel可以由多个主网络适配器绑定,并可以配置1个备用网络适配器。通常AIX与交换机之间的通信会分担在主网络适配器上,当1个主网络适配器故障时,流量会转移至其他网络适配器;当所有主网络适配器故障或主网络适配器连接交换机故障时,备用网络适配器将承担所有的网络流量。

3.1  主网络适配器捆绑

在AIX中,主网络适配器可以是聚合端口。聚合端口是将2个或多个端口绑定在一起,形成一个逻辑网络适配器,以增加提供单个逻辑端口高带宽、冗余性、弹性和负载均衡。endprint

3.2  Mode与Hash Mode

AIX、交换机的EtherChannel Mode与Hash Mode配置决定本方如何发送数据帧,接收的数据帧的负载均衡则由对端的Hash Mode配置来决定。

(1)Mode

Mode决定AIX EtherChannel与交换机之间的协议模式,具体如下:

◆standard:使用“标准”EtherChannel协议,需要交换机配置EtherChannel。

◆802.3ad:使用IEEE 802.3ad标准协议,需要交换机配置;AIX服务器与交换机之间使用心跳机制,当链路或网络适配器失效时,可以保证通信正常进行。

◆round_robin:不与交换机协商,发送流量平均分布在EtherChannel每个成员网络适配器,可用于2个AIX服务器直连方式。

(2)Hash Mode

Hash Mode决定数据帧如何在EtherChannel成员网络适配器中分发,其中round_robin模式只能与default组合,standard/802.3ad可以有更细粒度的分发模式。有效的组合模式及特点分析如表1所示。

(3)最佳实践

◆Mode选择

当AIX服务器与交换机相连时,建议Mode采用standard或802.3ad,这是因为round_robin将发送流量以轮转方式在所有激活端口轮询发送,由于各链路至目标服务器的时延不同,可能会在接收主机上接收时产生乱序,在目标服务器上需要重新排序数据报文,影响TCP/IP协议的效率。

当AIX服务器之间背对背连接时,如HACMP心跳或Oracle RAC私有网络,可使用round_robin,以最大化利用网络带宽;同时,可以启用Jumbo Frame功能,MTU从1 500增至9 000,数据帧发送时间更长,从而最大化地减少数据报文乱序产生。

◆Hash Mode选择

Mode采用standard或802.3ad时,Hash Mode采用src_dst_port。很显然,与src_port或dst_port相比,使用src_dst_port模式即使源与目标服务器IP地址相同,但TCP/UDP源与目标端口不同,也会分发至不同的网络适配器上,以实现会话级的负载均衡,负载均衡的粒度更细。

◆配置

如表2所示,配置EtherChannel时,注意采用相匹配的Mode组合模式,除了AIX上需要配置以外,交换机上同样也需要配置,否则可能会出现不可预料的通信失败。另外,AIX Hash Mode配置决定发送数据帧在适配器上的负载均衡,交换机Hash Mode决定AIX接收数据帧的负载均衡。

3.3  备份网络适配器

用户可以为整个EtherChannel指定一个备份网络适配器,当整个EtherChannel的全部主网络适配器或所连接的交换机失效时,这个网络适配器会自动接替EtherChannel主网络适配器收发数据帧。此网络适配器所连的交换机端口为普通的接入端口,无需做任何与EtherChannel相关的配置。为保证整个EtherChannel的可用性,备份网络适配器应连接在与主网络适配器不同的交换机上。

3.4  EtherChannel设计

如何设计EtherChannel需要具体分析,不同的环境需要不同的配置。

如果AIX服务器的网络连接需要高带宽,如FTP服务器等,单个网络适配器带宽已不能满足应用系统需求,需要N个主网络适配器进行捆绑,以提供更高带宽。此时不建议再增加1个备用网卡,这是因为如果所有主机网失效时,备用网卡无法承担应用的网络流量。当网络流量是系统的首要考量时,应考虑HACMP等高可用方案,当EtherChannel失效时,将应用切至备用节点。另一个例子是PowerVM环境下的共享以太网络适配器,当EtherChannel失效时,网络应立即切换至备用的PowerVM VIOS服务器。

如果AIX服务器有高带宽的需求,做N个主网络适配器捆绑,当EtherChannel失效时,没有其他冗余的措施可以恢复网络;或者核心业务服务有考核指标,不能随时中断,HACMP等方案切换代价太大,则建议配置1个备份网卡备用,采用N+1配置。EtherChannel失效时,则网络流量转向备份网卡,性能虽然有少量下降,但应用系统的可用性没有受到影响。

如果AIX至外部网络连接的稳定性更重要,但网络流量小于单网卡的带宽容量,建议使用主备式设计,1个主网络适配器、1个备用网络适配器,采用1+1配置。因为这种配置不需要在网络交换机上做任何配置,所以既减少了配置工作量,同时又节省了维护成本。

4   Trunk(干线)

在Trunk链路上,仅通过1条链路就可以承载不同VLAN的数据帧,可以节省网络适配器、交换机端口数据量。当AIX服务器有连接多个VLAN需求时,如管理VLAN、生产VLAN、DLPAR VLAN等,可以使用Trunk技术。

为提高系统可用性,Trunk一般与EtherChannel

技术配合使用。在AIX服务器上使用Trunk技术时,要注意在交换机侧启用STP,否则可能会引起网络风暴;同时,还要注意在交换机侧限制与AIX服务器通信的VLAN列表,不要配置所有VLAN通过,否则可能会有安全隐患。

5   Jumbo Frame(巨型帧)

默认情况下AIX MTU为1 500Bytes,使用Jumbo Frame时MTU为9 000Bytes,对于大的IP层数据包,可以减少拆成9 000Bytes发送,以减少网络的IOPS(Input/Output Operations Per Second,每秒进行读写操作的次数);对于小于1 500Bytes的数据包没有帮助,但配置Jumbo Frame能减少整体上的IOPS。

Jumbo Frame相比传统的标准帧而言,其主要的优势在于它能减少在拆包、传输、解包过程中带来的CPU开销,并且提升数据的传输效率。尤其是在传送大文件或大数据块的场景下,如Oracle RAC私有网络、文件服务器连接、NAS连接等对网络压力较大的环境下,启用Jumbo Frame会有显著的性能提升。

在Jumbo Frame区域,需要在二层交换机、路由器上打开此功能;在与不支持Jumbo Frame网络相连时,需要三层交换机或路由器支持拆包,把9 000拆成1 500的数据包,才能与其他网段正常通信。

Jumbo Frame流程示意图如图1所示。

6   结束语

综上所述,只有通过合理的网络接入规划与设计,并调整网络接入与传输参数,才能够更好地发挥AIX服务器网络效能,从而提高应用系统的整体运行效率。

参考文献:

[1] 吉伟. AIX服务器常用访问和限制方法总结[J]. 电子技术与软件工程, 2014(9): 22.

[2] 沈煜. 交换机端口聚合系统的分析与设计[J]. 信息与电脑, 2012(1): 102-104.

[3] 黄达琳. EtherChannel在二层网络中的应用[J]. 无线互联科技, 2012(6): 18.

[4] 方元武. 计算机网络IP-Trunk技术应用问题及其解决方法[A]. IT时代周刊论文专版[C]. 2012.

[5] 张永平,张巍. 基于内容的数据分发网络及算法[J]. 计算机科学, 2013(4): 88-89.endprint

3.2  Mode与Hash Mode

AIX、交换机的EtherChannel Mode与Hash Mode配置决定本方如何发送数据帧,接收的数据帧的负载均衡则由对端的Hash Mode配置来决定。

(1)Mode

Mode决定AIX EtherChannel与交换机之间的协议模式,具体如下:

◆standard:使用“标准”EtherChannel协议,需要交换机配置EtherChannel。

◆802.3ad:使用IEEE 802.3ad标准协议,需要交换机配置;AIX服务器与交换机之间使用心跳机制,当链路或网络适配器失效时,可以保证通信正常进行。

◆round_robin:不与交换机协商,发送流量平均分布在EtherChannel每个成员网络适配器,可用于2个AIX服务器直连方式。

(2)Hash Mode

Hash Mode决定数据帧如何在EtherChannel成员网络适配器中分发,其中round_robin模式只能与default组合,standard/802.3ad可以有更细粒度的分发模式。有效的组合模式及特点分析如表1所示。

(3)最佳实践

◆Mode选择

当AIX服务器与交换机相连时,建议Mode采用standard或802.3ad,这是因为round_robin将发送流量以轮转方式在所有激活端口轮询发送,由于各链路至目标服务器的时延不同,可能会在接收主机上接收时产生乱序,在目标服务器上需要重新排序数据报文,影响TCP/IP协议的效率。

当AIX服务器之间背对背连接时,如HACMP心跳或Oracle RAC私有网络,可使用round_robin,以最大化利用网络带宽;同时,可以启用Jumbo Frame功能,MTU从1 500增至9 000,数据帧发送时间更长,从而最大化地减少数据报文乱序产生。

◆Hash Mode选择

Mode采用standard或802.3ad时,Hash Mode采用src_dst_port。很显然,与src_port或dst_port相比,使用src_dst_port模式即使源与目标服务器IP地址相同,但TCP/UDP源与目标端口不同,也会分发至不同的网络适配器上,以实现会话级的负载均衡,负载均衡的粒度更细。

◆配置

如表2所示,配置EtherChannel时,注意采用相匹配的Mode组合模式,除了AIX上需要配置以外,交换机上同样也需要配置,否则可能会出现不可预料的通信失败。另外,AIX Hash Mode配置决定发送数据帧在适配器上的负载均衡,交换机Hash Mode决定AIX接收数据帧的负载均衡。

3.3  备份网络适配器

用户可以为整个EtherChannel指定一个备份网络适配器,当整个EtherChannel的全部主网络适配器或所连接的交换机失效时,这个网络适配器会自动接替EtherChannel主网络适配器收发数据帧。此网络适配器所连的交换机端口为普通的接入端口,无需做任何与EtherChannel相关的配置。为保证整个EtherChannel的可用性,备份网络适配器应连接在与主网络适配器不同的交换机上。

3.4  EtherChannel设计

如何设计EtherChannel需要具体分析,不同的环境需要不同的配置。

如果AIX服务器的网络连接需要高带宽,如FTP服务器等,单个网络适配器带宽已不能满足应用系统需求,需要N个主网络适配器进行捆绑,以提供更高带宽。此时不建议再增加1个备用网卡,这是因为如果所有主机网失效时,备用网卡无法承担应用的网络流量。当网络流量是系统的首要考量时,应考虑HACMP等高可用方案,当EtherChannel失效时,将应用切至备用节点。另一个例子是PowerVM环境下的共享以太网络适配器,当EtherChannel失效时,网络应立即切换至备用的PowerVM VIOS服务器。

如果AIX服务器有高带宽的需求,做N个主网络适配器捆绑,当EtherChannel失效时,没有其他冗余的措施可以恢复网络;或者核心业务服务有考核指标,不能随时中断,HACMP等方案切换代价太大,则建议配置1个备份网卡备用,采用N+1配置。EtherChannel失效时,则网络流量转向备份网卡,性能虽然有少量下降,但应用系统的可用性没有受到影响。

如果AIX至外部网络连接的稳定性更重要,但网络流量小于单网卡的带宽容量,建议使用主备式设计,1个主网络适配器、1个备用网络适配器,采用1+1配置。因为这种配置不需要在网络交换机上做任何配置,所以既减少了配置工作量,同时又节省了维护成本。

4   Trunk(干线)

在Trunk链路上,仅通过1条链路就可以承载不同VLAN的数据帧,可以节省网络适配器、交换机端口数据量。当AIX服务器有连接多个VLAN需求时,如管理VLAN、生产VLAN、DLPAR VLAN等,可以使用Trunk技术。

为提高系统可用性,Trunk一般与EtherChannel

技术配合使用。在AIX服务器上使用Trunk技术时,要注意在交换机侧启用STP,否则可能会引起网络风暴;同时,还要注意在交换机侧限制与AIX服务器通信的VLAN列表,不要配置所有VLAN通过,否则可能会有安全隐患。

5   Jumbo Frame(巨型帧)

默认情况下AIX MTU为1 500Bytes,使用Jumbo Frame时MTU为9 000Bytes,对于大的IP层数据包,可以减少拆成9 000Bytes发送,以减少网络的IOPS(Input/Output Operations Per Second,每秒进行读写操作的次数);对于小于1 500Bytes的数据包没有帮助,但配置Jumbo Frame能减少整体上的IOPS。

Jumbo Frame相比传统的标准帧而言,其主要的优势在于它能减少在拆包、传输、解包过程中带来的CPU开销,并且提升数据的传输效率。尤其是在传送大文件或大数据块的场景下,如Oracle RAC私有网络、文件服务器连接、NAS连接等对网络压力较大的环境下,启用Jumbo Frame会有显著的性能提升。

在Jumbo Frame区域,需要在二层交换机、路由器上打开此功能;在与不支持Jumbo Frame网络相连时,需要三层交换机或路由器支持拆包,把9 000拆成1 500的数据包,才能与其他网段正常通信。

Jumbo Frame流程示意图如图1所示。

6   结束语

综上所述,只有通过合理的网络接入规划与设计,并调整网络接入与传输参数,才能够更好地发挥AIX服务器网络效能,从而提高应用系统的整体运行效率。

参考文献:

[1] 吉伟. AIX服务器常用访问和限制方法总结[J]. 电子技术与软件工程, 2014(9): 22.

[2] 沈煜. 交换机端口聚合系统的分析与设计[J]. 信息与电脑, 2012(1): 102-104.

[3] 黄达琳. EtherChannel在二层网络中的应用[J]. 无线互联科技, 2012(6): 18.

[4] 方元武. 计算机网络IP-Trunk技术应用问题及其解决方法[A]. IT时代周刊论文专版[C]. 2012.

[5] 张永平,张巍. 基于内容的数据分发网络及算法[J]. 计算机科学, 2013(4): 88-89.endprint

3.2  Mode与Hash Mode

AIX、交换机的EtherChannel Mode与Hash Mode配置决定本方如何发送数据帧,接收的数据帧的负载均衡则由对端的Hash Mode配置来决定。

(1)Mode

Mode决定AIX EtherChannel与交换机之间的协议模式,具体如下:

◆standard:使用“标准”EtherChannel协议,需要交换机配置EtherChannel。

◆802.3ad:使用IEEE 802.3ad标准协议,需要交换机配置;AIX服务器与交换机之间使用心跳机制,当链路或网络适配器失效时,可以保证通信正常进行。

◆round_robin:不与交换机协商,发送流量平均分布在EtherChannel每个成员网络适配器,可用于2个AIX服务器直连方式。

(2)Hash Mode

Hash Mode决定数据帧如何在EtherChannel成员网络适配器中分发,其中round_robin模式只能与default组合,standard/802.3ad可以有更细粒度的分发模式。有效的组合模式及特点分析如表1所示。

(3)最佳实践

◆Mode选择

当AIX服务器与交换机相连时,建议Mode采用standard或802.3ad,这是因为round_robin将发送流量以轮转方式在所有激活端口轮询发送,由于各链路至目标服务器的时延不同,可能会在接收主机上接收时产生乱序,在目标服务器上需要重新排序数据报文,影响TCP/IP协议的效率。

当AIX服务器之间背对背连接时,如HACMP心跳或Oracle RAC私有网络,可使用round_robin,以最大化利用网络带宽;同时,可以启用Jumbo Frame功能,MTU从1 500增至9 000,数据帧发送时间更长,从而最大化地减少数据报文乱序产生。

◆Hash Mode选择

Mode采用standard或802.3ad时,Hash Mode采用src_dst_port。很显然,与src_port或dst_port相比,使用src_dst_port模式即使源与目标服务器IP地址相同,但TCP/UDP源与目标端口不同,也会分发至不同的网络适配器上,以实现会话级的负载均衡,负载均衡的粒度更细。

◆配置

如表2所示,配置EtherChannel时,注意采用相匹配的Mode组合模式,除了AIX上需要配置以外,交换机上同样也需要配置,否则可能会出现不可预料的通信失败。另外,AIX Hash Mode配置决定发送数据帧在适配器上的负载均衡,交换机Hash Mode决定AIX接收数据帧的负载均衡。

3.3  备份网络适配器

用户可以为整个EtherChannel指定一个备份网络适配器,当整个EtherChannel的全部主网络适配器或所连接的交换机失效时,这个网络适配器会自动接替EtherChannel主网络适配器收发数据帧。此网络适配器所连的交换机端口为普通的接入端口,无需做任何与EtherChannel相关的配置。为保证整个EtherChannel的可用性,备份网络适配器应连接在与主网络适配器不同的交换机上。

3.4  EtherChannel设计

如何设计EtherChannel需要具体分析,不同的环境需要不同的配置。

如果AIX服务器的网络连接需要高带宽,如FTP服务器等,单个网络适配器带宽已不能满足应用系统需求,需要N个主网络适配器进行捆绑,以提供更高带宽。此时不建议再增加1个备用网卡,这是因为如果所有主机网失效时,备用网卡无法承担应用的网络流量。当网络流量是系统的首要考量时,应考虑HACMP等高可用方案,当EtherChannel失效时,将应用切至备用节点。另一个例子是PowerVM环境下的共享以太网络适配器,当EtherChannel失效时,网络应立即切换至备用的PowerVM VIOS服务器。

如果AIX服务器有高带宽的需求,做N个主网络适配器捆绑,当EtherChannel失效时,没有其他冗余的措施可以恢复网络;或者核心业务服务有考核指标,不能随时中断,HACMP等方案切换代价太大,则建议配置1个备份网卡备用,采用N+1配置。EtherChannel失效时,则网络流量转向备份网卡,性能虽然有少量下降,但应用系统的可用性没有受到影响。

如果AIX至外部网络连接的稳定性更重要,但网络流量小于单网卡的带宽容量,建议使用主备式设计,1个主网络适配器、1个备用网络适配器,采用1+1配置。因为这种配置不需要在网络交换机上做任何配置,所以既减少了配置工作量,同时又节省了维护成本。

4   Trunk(干线)

在Trunk链路上,仅通过1条链路就可以承载不同VLAN的数据帧,可以节省网络适配器、交换机端口数据量。当AIX服务器有连接多个VLAN需求时,如管理VLAN、生产VLAN、DLPAR VLAN等,可以使用Trunk技术。

为提高系统可用性,Trunk一般与EtherChannel

技术配合使用。在AIX服务器上使用Trunk技术时,要注意在交换机侧启用STP,否则可能会引起网络风暴;同时,还要注意在交换机侧限制与AIX服务器通信的VLAN列表,不要配置所有VLAN通过,否则可能会有安全隐患。

5   Jumbo Frame(巨型帧)

默认情况下AIX MTU为1 500Bytes,使用Jumbo Frame时MTU为9 000Bytes,对于大的IP层数据包,可以减少拆成9 000Bytes发送,以减少网络的IOPS(Input/Output Operations Per Second,每秒进行读写操作的次数);对于小于1 500Bytes的数据包没有帮助,但配置Jumbo Frame能减少整体上的IOPS。

Jumbo Frame相比传统的标准帧而言,其主要的优势在于它能减少在拆包、传输、解包过程中带来的CPU开销,并且提升数据的传输效率。尤其是在传送大文件或大数据块的场景下,如Oracle RAC私有网络、文件服务器连接、NAS连接等对网络压力较大的环境下,启用Jumbo Frame会有显著的性能提升。

在Jumbo Frame区域,需要在二层交换机、路由器上打开此功能;在与不支持Jumbo Frame网络相连时,需要三层交换机或路由器支持拆包,把9 000拆成1 500的数据包,才能与其他网段正常通信。

Jumbo Frame流程示意图如图1所示。

6   结束语

综上所述,只有通过合理的网络接入规划与设计,并调整网络接入与传输参数,才能够更好地发挥AIX服务器网络效能,从而提高应用系统的整体运行效率。

参考文献:

[1] 吉伟. AIX服务器常用访问和限制方法总结[J]. 电子技术与软件工程, 2014(9): 22.

[2] 沈煜. 交换机端口聚合系统的分析与设计[J]. 信息与电脑, 2012(1): 102-104.

[3] 黄达琳. EtherChannel在二层网络中的应用[J]. 无线互联科技, 2012(6): 18.

[4] 方元武. 计算机网络IP-Trunk技术应用问题及其解决方法[A]. IT时代周刊论文专版[C]. 2012.

[5] 张永平,张巍. 基于内容的数据分发网络及算法[J]. 计算机科学, 2013(4): 88-89.endprint