陈宇欣，梁 珍

（东华大学 环境科学与工程学院 暖通空调研究所，上海 201620）

0 引言

数据中心作为新基建七大领域之一，在国家政策支持、客户需求日益增长的背景下，机柜数量持续增加，市场规模不断扩大，预计2022年中国数据中心规模将达3 200亿元［1］。数据中心能耗随机柜需求量急剧增长，气流组织优化是数据中心空调系统节能技术的有效措施之一，封闭冷/热通道作为优化的有效手段受到业界关注。陈修敏等［2］通过数值模拟发现了现有数据机房气流组织缺陷，在验证局部热点与气流不畅等问题后进行优化，证明了气流组织设计的有效性。YOGESH等［3］通过CFD仿真模拟研究送风地板下障碍物对机房冷却性能的影响，发现地板下方的管道等障碍物对减少气流量的阻碍可高达80%。张恺等［4-5］总结了地板送风系统的利弊，并针对小面积热密度大的地板送风机房采用数值模拟与盒形图分析法得到最优参数值，通过试验验证发现在封闭冷通道后优化系统的温度分布会得到进一步的改善。李婷婷等［6］借助模拟软件对热通道封闭下的数据机房的两种送风方式下温度场、速度场进行对比，结果表明了不受高架地板高度和开孔率影响的机架下送风形式冷量利用率更高、节能效果更好。杨力芝等［7］在研究地板送风方式对机房热环境性能的影响时发现，机架下送风或地板下送风二者与冷/热通道封闭相结合的方案各有利弊，应根据工程实际要求进行取舍。

上述论文将研究重点放在单一因素的优化上，封闭通道与其他气流影响因素相结合的叠加优化效果值得关注。参考数据中心数值模拟的相关研究［8-15］，本文以某通信公司数据中心为研究对象，利用CFD模拟软件对冷/热通道封闭的模块机房进行气流组织方案分析，从送风气流量和服务器布置方面进行优化探索，为实际工程中同类型机房的节能与优化设计提供思路与参考。因机房服务器的数据安全性限制，实地测试未被允许，本文仅进行模拟仿真研究。仿真模型的可靠性通过与公开发表文献上公布的实验数据的对比进行验证。

1 模型验证

借用杨力芝在数据机房研究中的试验测量数据［7］，对模型的可靠性进行验证。机房面积105 m2，房间净高3.6 m，地板架空高度为0.5 m，房间内机柜34台，平均分A，B两列布置，服务器总功耗120 kW；单台制冷量80 kW的精密空调2台，21个温度测点分布在机柜顶部平面的热通道区域。根据上述数据中心设备尺寸与边界条件设定建立验证模型，数值计算后得到的A列机柜出入口平均温度以及测点温度如图1所示。

图1 模拟结果误差Fig.1 Error margin of simulation results

图1（a）示出A列机柜出入口平均温度的模拟值与测量值的分布对比，发现A列机柜入口处的平均温度与试验值十分接近，且温度变化幅度均为0.2 ℃，入口温度模拟值最大值为17.2 ℃，试验值则为17.4 ℃；机柜A13，A14的出口温度误差最大，达到8%。从图1（b）中可以看到测点的试验值与模拟值变化规律基本一致，测点的相对误差控制在10%以内。由于机房模型的简化与稳态边界设置，各机柜前后温度分布比较规律一致，故机柜进出口的模拟温度值变化幅度小。而冷通道封闭后机柜入口所受气流干扰变小，进而与试验值的误差更小；而机柜出口和测点都在热通道内，受机房内气流比如热堆积、局部回流等现象的影响，误差较大。

鉴于测点的误差≤10%，认为本文所使用的数据中心模型与建立在此基础上的数据模拟结果是可靠的，对同类型情况具有借鉴意义。

2 数据中心机房的模型建立

2.1 工程概况

机房平面如图2所示，机房面积263.8 m2，机柜按8×11“面对面，背靠背”布置，单台机柜容量3 kW，于机架底部槽位填充4 U×1 000 W服务器，从左至右按A～H排列，靠内墙侧为前端，按1～11编号（如左下角机柜为A1）。机房内安装5台冷冻水型机房专用精密空调，单台显冷量80 kW，制冷冗余方案为N+2，空调设备与机柜用内墙隔开。模块机房采用地板送风方式，冷/热通道开放，送风地板尺寸为600 mm×600 mm。

图2 机房设备布局平面Fig.2 Equipment layout of server room

为研究该数据中心在不同气流组织方式下的机房热环境，利用CFD仿真软件对该模块机房进行建模，将机房空间离散化，选取标准湍流模型，利用SIMPLE算法对流动基本方程进行求解，并通过标定的残差终止值来控制求解方程的收敛精度，当设备监控参数收敛于残差终止值1时，表示求解收敛。机房原为地板送风方式，没有任何辅助送回风结构。结合实际应用情况设计以下3种气流组织方案：方案A，地板送风+封闭冷通道；方案B，地板送风+封闭热通道；方案C，侧送风+封闭热通道。

整个机房的空调负荷，考虑建筑围护结构负荷、照明和人员负荷以及相关专业提供的最终满配置情况下的数据设备的装机容量来计算确定，设备的装机功率最终转化为热量的转化系数按0.95计算。机房热备发热负荷247 kW，建筑传热负荷26 kW，空调总负荷273 kW。

2.2 物理模型

根据机房的参数建立物理模型，CFD仿真软件采用了真实的物理结构与参数对机房围护结构以及机房内的设备进行建模，以保证模拟结果的准确性与可靠性。气流组织方案的物理模型如图3所示。

图3 机房物理模型Fig.3 Physical model of server room

2.3 求解控制

数据中心作为以安全性、高效性为主的特殊模拟对象，选择合理的数值模型是至关重要的。首先对模型进行必要的简化，对需要建立的数值模型做以下几点求解控制：（1）假设机房墙壁是稳态的温度边界，定义房间壁面固定温度边界条件（25 ℃）；（2）求解计算采用标准的κ-ε湍流模型，残差值稳定且趋于1；（3）空气为理想气体状态；（4）机柜封闭空槽位，机柜前后门上的通风口开孔率0.64；（5）地板静压层高度为500 mm，送风地板开孔率为50%；（6）空调回风温度为27 ℃。

3 数据中心机房的模拟结果

3.1 流场分析

数据中心模块机房各气流组织方案模拟结果流线如图4所示。原送风方式下，地板下方冷气流产生温度分区，中间低两头高。在地板上方气流组织凌乱，地板出风口流速不均匀，最小值0.012 m/s位于A～C列前端、G10前的出风口处，部分冷风在进入机柜前充分与机房内的热空气进行热交换，冷热气流掺混致使机架进风温升；一部分冷空气从地板吹出后直接流回空调回风口，未进入机柜对服务器进行冷却，冷空气旁通降低了回风温度。

图4 机房流线Fig.4 Streamline figures of server room

对比原送回风方式，方案A，B冷热气流分隔，杜绝了冷热气流掺混现象，气流走向可控。方案A中地板上方冷气流直接通过冷通道进入机柜入口，所走路程变短，地板出风口平均流速1.1 m/s，较原模型分布均匀；带走服务器热量后，热气流从背面出风口进入房间，绝大部分流回空调回风口。方案B前后段送风口流速差值较方案A稍大，部分冷气流触到天花板后转换方向，沿着热通道壁面分成两束气流下沉流向机架入口，热空气通过吊顶全部流回空调机，流线走向清晰。

方案C采取侧送风方式，没有地板架空层的缓冲作用，冷通道气流速度高达5.6 m/s，大速率气流笔直撞上机柜和热通道壁面，气流方向改变，一部分形成回流滞留在风口两侧，导致位于机架阵列中部的机柜进风量不均匀；气流在单个冷通道上方形成回流，于是下方正对机柜的入口风速过大，整体上进入机柜的有效气流减少。

3.2 温度场分析

原送风方式下，机房热环境温度分布不均，机柜出风口温差大，存在局部温度过高的情况。三种冷/热通道封闭的模型结果显示，其机柜均满足ASHARE标准，温度分布在18～27 ℃之间，机柜进出口温差均在13±0.2 ℃之间，无局部高温热点出现。

选取机柜典型截面Y=1 m处进行温度场分析，如图5所示。

图5 截面Y=1 m温度分布Fig.5 Temperature field at Y=1 m section

由于原机房模型中的冷空气冷却的是机房大环境，所以截面整体温度偏低。从横向上观察，位于机架阵列两侧的机柜进/出口温度普遍高于中间的。纵向上来看，温度分布趋势同样是“中间低，两头高”。出风口侧的高温区域分布较广，局部热点多，设备运行环境差。

观察方案A（地板送风+封闭冷通道）截面发现，机柜进风口通道内的温度较低，且保持高度均匀，入口温差控制在0.5 ℃以内；排风口温度梯度规律一致，热通道与房间非设备区域温度边界明显。

方案B（地板送风+封闭热通道）的同一位置截面中，机房环境温度接近冷通道温度，空调送风的冷却范围扩大，冷空气与室内热表面进行换热，在进入机柜之前温度升高0.3 ℃，机柜入口温差增大1 ℃左右，是方案A的2倍；最左侧封闭通道较窄，且气流量占比少，温度明显高于其他封闭区域。

方案C（侧送风+封闭热通道）的冷气流送风距离最短，进入机柜前冷量损失最小，空调冷却范围扩大到设备间，无效冷却量增加；由于冷空气流量、流速分布的差异，机柜入口温差加大到0.9 ℃，出口处温差1.8 ℃；热通道内温度梯度分布不均匀，第一列机柜温度最高，中间热通道的左列机柜温度普遍高于右列，说明右列的进口气流速率普遍高于左列，且在A～D，F和G列的前端出现局部高温。

3.3 热评价指标分析

本文选取了2个典型评价指标对结果进行分析：空气管理系统热性能指标——回风温度指数RTI，与能量利用程度指标——供热指数SHI。

RTI由Herrlin于2007年提出，表征机柜内空气再循环和空气旁通的情况［16-18］。空气旁通指的是冷空气没有经过机柜而直接回到空调回风口；空气再循环指的是机柜排出的热空气在机房内回流到机柜入口。RTI越接近100%越理想，＞100%表示空气再循环；＜100%表示空气短路。

式中 Tre——体积流量加权的空调平均回风温度，℃；

Tsu——体积流量加权的空调平均送风温度，℃；

Teq，out——体积流量加权的设备平均排风温度，℃；

Teq，in——体积流量加权的设备平均进风温度，℃。

SHI表示空调送风在进入IT设备之前与热空气混合的程度［18］，值越小表示冷量利用效率越高。

式中 δQ——冷气流从地板送风口到服务器机柜进风口处所吸收的热量，kW；

Q——冷气流在机柜中用于冷却服务器所损失的冷量，kW；

cp——空气定压比热容，J/（kg·℃）；

Tref——地板出风口平均温度，℃。

i，j——下标，第 i排第 j列机柜。

根据模拟结果中服务器通风口温度与空调送回风温度计算各方案下的RTI值和SHI值如图6所示。从图6可以看出，相比于原气流组织模型，3种设计方案下的RTI有了明显的提高，说明冷/热通道封闭的方法让冷气流短路问题有了一定程度改善；同时供热指数SHI也下降一个数量级以上，下送风+封闭冷通道的SHI值最小，为6.8×10-4，方案B，C相差不大，表示空调送风在进入IT设备前的冷量损失减小。

图6 气流组织方案的热评价指标Fig.6 Thermal evaluation index of air distribution modes

机房气流组织方案的模拟结果见表1，经对比分析发现，在不改变机房设备布置的前提下，地板送风与封闭冷通道结合方式下的气流组织效果最佳。

表1 气流组织方案模拟结果Tab.1 Simulation results of air distribution modes

4 气流组织的优化

在下送风+封闭冷通道的方案基础上，针对该数据中心机房冷空气短路的现象，进一步提出优化该数据机房的几种方法：研究空调送风量、服务器不同的布置形式对冷空气短路的影响，并通过仿真模拟对比分析机柜内的温度分布与空气旁通的程度差异。

4.1 空调送风量优化分析

首先定义速度入口边界条件，通过设置空调机内风扇转速比例来改变出口风量。风扇转速比例取六组变量：60%～85%，间隔5%，表示占最大风量的百分比。其次，引入新的机柜温度指标——机柜冷却指数RCLLO，来评价不同送风量下IT设备的冷却效果［18］。RCLLO等于100%时最优，在91%～95%之间为中等，低于90%则认为IT设备所处环境恶劣。

式中 Tmin，rec——最小推荐设备进口温度，℃；

Tmin，all——最小允许设备进口温度，℃；

Tin，under-i——低于 Tmin，rec的第 i个设备进口温度，℃；

Nu——进口温度低于的IT设备进口温度的设备数量；

NT——所有设备进口数量。

数值计算结果如图7所示，机柜冷却指数RCLLO曲线呈对数函数分布趋势，RCLLO值随着风量的增大先迅速增加，后面很快趋于平坦，当风量达到最大风量的70%时，RCLLO达到100%，继续增大风量只会增加风机负担和能耗；回风温度指数RTI的变化近似于一次函数图像，RTI指数随着风量的减小而增大。

综合考量这两种评价指标的影响因子，风扇转速比例为65%时RTI值更高，但是RCLLO处于中等水平，近3/4的机柜温度保持在15～18 ℃，出现过冷情况，不利于IT设备高效运行。故取风扇转速比例70%时的值（RCLLO=100%，RTI=65.4）为整体热环境指标的最优值。

4.2 服务器排列形式的影响分析

图8示出的4种模型是目前通用的服务器摆放形式，在机架空槽位处放置前挡板以削弱冷气流旁通量。对以下几种常见的摆放形式统一进行仿真模拟，结合机柜的送回风情况，确定比较合理的摆放方式。

图8 4种服务器排列方式Fig.8 4 kinds of servers’ layout

选取机房中一典型机柜进行气流组织分析，其背部出风口温度如图9所示，4U服务器的风扇位于右侧。从图中能够直观的看到，出风口高温区对应各自设备的摆放位置，排列d的温度分布最为均匀，其次是排列a，两者最大温差相近，控制在3.8±0.1 ℃；在排列b，c的空槽位处出现大面积低温，最大温差分别为5.2，10 ℃，说明由于机架导轨缝隙的泄露，以及冷空气重力下沉作用，一部分低温气流未及时对服务器进行冷却，而是在流出机柜后、流回空调机前，对热空气（即回风）进行冷却，降低了回风温度。

为了清楚地观察机柜进出口的温差，选择在所选机柜通风口、靠服务器排热风扇一侧，沿高度方向设置温度传感器，共41个测点。图10示出各排列方式下的温度测点图，将非均匀放置的前3种排列进行比较发现，随着服务器位置升高，进口温度断层越来越大，空槽位处的进出口温差降幅明显，排列c的整体出口温度偏低，冷却效果差。均匀分布的排列d，出口温度随机柜高度呈现驼峰式上升，进出口温差控制在10±2 ℃内，分布规则且均匀。总体优劣对比结果：排列d＞排列a＞排列b＞排列c。均匀排列方式适合对服务器运行环境要求严格的数据中心，机柜下放方式方便服务器的增减与检修管理。

图10 测点温度变化Fig.10 Temperature variation chart of test points

5 结论

（1）仅采用地板送风，冷/热通道开放的原机房热环境对流换热强度大，冷热掺混剧烈，局部热点温度高达40 ℃，不利于服务器等设备的安全与高效运行，加上气流短路严重影响空调制冷效率。冷/热封闭通道将进出口气流分区，显著提升送风气流的有效冷却，机房空调系统的能耗减少；在一定程度上减少了冷空气旁通量，但由于送风通过机柜部件缝隙的旁通量没有解决，回风温度指数保持中等水平。

（2）该机房模型在地板送风并封闭冷/热通道方式下的流场、温度场均匀性和稳定性均优于侧送风方案；地板送风封闭热通道的方法产生局部高温的风险较大，适合对室内环境热舒适性要求高的数据中心；地板送风+封闭冷通道方式下进出口温度低，流量分布平均，是本文所分析的机房模型气流组织的最佳方案。

（3）空调送风速率影响着机柜的冷却效果与空气旁通量，对机柜冷却指数的影响程度更大。风速并非越大越好，风口速率过大不仅加快冷气流旁通，同时还加重了空调风机能耗负担。

（4）4种常见的服务器排列中，均匀摆放与下放进出口温差小，应优先考虑。均匀排列方式适合对服务器运行环境要求严格的数据中心，机柜下放方式方便服务器的增减与检修管理。空槽位前设置挡板后回风温度指数增加8%，有利于减少冷空气旁通量。