逄书帆

华建集团上海现代建筑设计集团工程建设咨询有限公司

0 引言

大数据时代引领了数据信息领域的高速发展，IT负载设备的高度集成化推动了数据中心的大规模建设。据IDC（Internet Data Center）数据中心能耗统计，自2013 年起，全球数据中心市场规模年增长率维持在10%，中国市场扩张较快，增长率高达37%[1]。空调系统作为我国数据中心总能耗的重要耗电来源，占据40%比例[2]。而气流组织作为热环境的主要影响因素，不仅可以避免机房局部受热而导致的设备故障，还可以保障热环境品质，最大效率得避免冷热空气不合理混合而导致的能耗浪费。

国内外均设立相关规范手册来引导数据中心设计。我国规范以《数据中心设计规范》GB50174-2017[3]规范为主流，对数据中心工程建设的质量、安全、环保、节能等相关重点环节进行强制性要求，并根据数据中心使用特性划分为A、B、C 三级。国外规范中对行业影响最深的当属TIA 和Uptime Institute[4]，二者均将数据中心分为4 个等级，且共享4 个等级的相同核心词：基本需求、冗余组件、在线维护、容错[5]。

众多专家学者对数据机房气流组织已有过很多研究。Roger Schmidt 等[6]研究了数据机房封闭通道冷、热气流混合问题。Cho J.等[7]研究了机房在不同送风形式下气流组织的效果。Patankar S.V.等[8]研究了不同静压层高度对机房气流组织的影响。Fulpagare Y.等[9]研究了不同地板格栅开孔率对流体的影响。

专家学者虽对气流组织的影响因素有较多研究，但基本均是基于某单一变量下的研究，而非是不同影响因素逐步优化后的研究，且结合冷通道封闭方面还不够完善。因此，本文以上海某现有数据中心机房为例，基于数据中心专用CFD 模拟软件6 SigmaRoom，对机房气流组织进行逐步优化，并选择合适的热环境指标进行评价，旨在为今后实际工程设计提供建议和参考。

1 数据中心机房的模型建立

1.1 数值模型的求解控制

数据中心作为以安全性、高效性为主的特殊模拟对象，选择合理的数值模型是至关重要的。为了简化，首先对需要建立的数值模型做以下三点求解控制：

1）室内气流忽略流体粘动力，视为不可压缩流体，空气满足Boussinesq 假设。

2）模型外墙、内墙、高架地板均视为绝热材料，室内无门无窗，密闭性良好。

3）流动为稳态湍流，采用标准κ-ε 湍流模型，残差值稳定且趋于1[10]。

1.2 数据机房的物理模型

本文以上海某现有金融类数据机房为研究对象，基于模拟软件6 SigmaRoom 建立数学仿真模型。如图1 所示，模型由空调室与IT 机房组成，中间由一堵绝热内墙隔开，内墙上设置回风口。IT 机房为低密度机房，机房负载密度为1.23 kW/m2，建设标准为国A 级。采用冷通道封闭、高架地板下送风的气流组织模式，机柜以常规“面对面，背对背”形式排列。机房实际面积为727.32 m2（27.55 m×26.4 m），层高H 为5.7 m。该机房主要由8 台150 kW 的CRAC（Computer Room Air Conditioning），10 列机柜及高架地板组成，架空地板高h=0.6 m。机房内共有机柜240 个，其中有32 个2U 机柜和208 个4U 机柜，总功耗为896 kW。

根据下列边界条件，建立数学模型：

1）制冷冗余方案设为N+2，模拟工况为8 台CRAC 同时按照最大风量的75%运行。

2）气流组织方式为静压地板下送风上回风。冷通道宽1.2 m，热通道宽1.8 m，地板采用防静电绝热材料，地板厚度0.01 m。网格尺寸mesh 为0.6 m。

3）高架地板高0.6 m，地板尺寸每块为0.6 m×0.6 m，格栅开孔率为50%。

4）CRAC 设置出风温度25±1 ℃，进风温度为37 ℃，最大风量为27750 m3/h。制冷方式为冷却水制冷，惯性阻力系数为100，出风口冷却气流量为7.708 m3/s。

5）机房外环境默认20 ℃。

图1 机房示意图

1.3 数据机房的6 SigmaRoom 模型

根据机房的物理参数建立6 SigmaRoom 模型，主要研究机房气流组织。因机柜内部服务器分布及气流走向对整体影响较小，又为冷通道封闭模式，故本文将每个机柜设为单个整体进行运算。同时，实际工程上，高架地板内电缆、电线所占面积较小且不易估算，本模型忽略高架地板内部障碍物。图2 为数据机房3D 模型图。

图2 机房3D 模拟图

2 数据中心机房的模拟研究

2.1 原方案气流组织分析

2.1.1流场分析

通过6 SigmaRoom 进行CFD 求解运算，得到空调的回风流线如图3。图3（a）显示空调下送风冷空气全部通过高架地板送入冷通道封闭，整体气流组织较稳定。但由于机房内机柜与CRAC 之间存在有孔内墙进行隔断，使整个机房平面的温度分布不太均匀。图3（b）显示，机房整体呈现CRAC 侧回风温度低、机柜侧高的趋势，且整体温度较高，易造成机房内局部热点。同时随距CRAC 距离的增大，流线密度逐渐变小，即机柜获得冷量减少，散热能力变慢，机柜升温快，造成机房热点。根据ASHARE 2011 的温度划分规则，图4也验证了此次推测，总体机柜温度较好，但后排中间部分机柜温度较高，出现局部热点。

图3 空调回风流线图

图4 空调机柜温度分布（ASHARE 2011）

2.1.2温度场分析

气流组织的作用直接反映出温度分布，而温度场是热环境的一个直接体现因素，尤其对于数据机房而言，机柜的正常运行与温度场息息相关。本文分别截取y=0.1 m（高架地板附近上方）、y=1.0 m（机柜中心平面）、y=2.1 m（机柜顶部）这三个典型平面进行分析。

如图5 所示，随着所取截面高度的增加，温度逐步上升。静压层送风平面处，空气的高速流动加速了与机柜的对流换热，机柜热量及时散出。出风处冷气流快速耗散，于机柜中间位置衰减完成，故而机柜中下部热环境较好。同时，热空气上浮，冷空气下压的物理特性也是导致机柜上部温度普遍较高的一个原因。

图5 机房三个典型面温度分布图

2.1.3速度场分析

速度场是气流组织变化的一个重要参照，图6 分别是三个典型平面的速度矢量图。随着高度增加，速度矢量越密集，速度越大。同时，越近CRAC 处速度矢量越稀疏，速度越小。这是由于越近CRAC 侧空气速度越大，动压大，静压小，使高架地板压降而冷量降低。因此CRAC 两侧速度场大，中间垂直侧小。同时，随着离CRAC 距离的增大，冷空气速度降低，静压加大，冷量逐渐加大，于冷通道中部达到峰值，随之逐步衰减。故机柜前段速度场大而后段速度场小。

图6 机房三个典型面速度分布图

2.2 数据机房气流组织的优化设计

根据模拟结果发现，数据机房温度场与速度场不均匀，机房产生局部热点，易造成服务器散热不及时或故障温度。针对上诉问题，本文将通过以下两个方面逐步对机房进行气流组织优化，即调整高架地板高度与地板格栅开孔率。整个优化设计可分为三步：

1）保持原设计其他参数不变，仅改变高架地板高度此单一变量，模拟0.4 m、0.6 m、0.8 m、0.9 m 四个不同地板高度的热环境，再选出最佳值做下一步输入值。

2）将上步最优值作为设定值，改变地板格栅开孔率为30%、40%、50%、60%四个变量，分析比较机柜气流组织，得出热环境最佳模型的静压层高度与开孔率。

3）利用热环境评价的参数对方案优化前后进行评价。

2.2.1高架地板优化

如图7 所示，分别为高架地板0.4 m、0.6 m、0.8 m、0.9m 时的机柜温度，可发现，图7（a）与（b）中均出现局部热点，随着高架地板高度的升高，机柜局部热点消失。静压层高度从0.4 m 升至0.9 m，机柜最高温度降低2.2 ℃。说明高架地板高度的升高能有效降低机房整体温度，改善局部热点。

高架地板为0.8 m、0.9 m 时，机房内均无局部热点产生。进而比较二者在冷通道中部处的速度场结果，如图8 所示，两种工况的速度场均较稳定，未于机房侧出现局部高速情况，整体气流变化趋于合理，速度变化范围均在0.175～0.635 m/s，可见高架地板高度在0.8～0.9 m 时气流组织分布较好。鉴于实际工程施工情况，本文取高架地板高度h=0.8 m 为最佳设定值。

图7 不同高架地板方案机柜温度图

图8 不同高架地板方案速度分布图

2.2.2地板格栅开孔率优化

数据机房将冷量沿高架地板通过格栅送入机柜冷通道，在固定高架地板高度的工况下，通道内气流组织和静压层压力均受地板格栅开孔率影响。实际施工中，由于支撑要求，通常格栅最大开孔率不大于60%。因此，本文在高架地板h=0.8 m 设定值下，分别模拟了30%、40%、50%、60%开孔率下气流组织情况。

图9 不同格栅开孔率方案速度分布图

机房速度场较均匀，气流速度变化范围在0.19～0.52 m/s。如图9 所示，分别为4 个不同开孔率下y=1.0 m 时的速度矢量图，速度场随格栅开孔率的增大，前排机柜冷通道中心处局部气流速度增大，与机柜外速度场差值增大，最大速度差可达0.72 m/s。30%～40%开孔率工况下的冷通道局部高速面积较小，气流组织较均匀。50%～60%开孔率时局部高速面积明显增大，易致机房冷热掺混程度加剧而损失冷量。

同时，根据模拟结果，4 个方案均未有机柜出现热点，且温度差异较小，不同开孔率方案的平均出口温度差在0.15～0.88 ℃。可见相对于静压层高度对气流组织的影响，格栅开孔率影响不大，温度变化趋于平缓。表1 为不同开孔率大小下4 个典型平面上的最大温度，分别是地板出风口，机柜底部，机柜中部和机柜顶部。可发现，对于30%～40%开孔率工况，随着开孔率加大，平面温度逐步降低，冷却效果提升。而对于50%～60%开孔率工况，与上述情况相反，冷却效果不佳。其中，40%开孔率时的4 处典型温度均为最低，冷却的效果最佳。

表1 不同开孔率方案在4 个典型位置处的最大温度/℃

工程实际中，数据机房一般采用带小圆孔的防静电架空地板，地板格栅流动阻力与压力损失由式（1）[11]获得。

式中：v 为地板格栅附近速度，m/s；ρ 为空气密度，kg/m3；K 为阻力系数。

Idelchik[12]通过实验得到的经验公式如下：

根据式（1）～（2）可知，随格栅开孔率增加，阻力系数降低，压力损失减少，压差增大，相同冷量下的出风量增大。

图10 为不同开孔率下的格栅出风量，可发现，出风量最大处均位于冷通道中部偏后，主要由于近CRAC 侧压力小，出风量小。远离空调侧压力大，冷量大，冷通道前部易因气流组织不佳而出现局部过热。若温度持续升高，过热面积继续扩大，会导致机柜制冷效果不佳。图10 中当开孔率为40%时，格栅出风量较大且分布均匀，而30%、50%、60%开孔率时，出现出风量不均，产生局部低速区的情况，易导致局部热点。因此，本文选择40%为最佳地板开孔率。

图10 不同开孔率方案的格栅出风量

2.3 气流组织优化方案前后对比分析

2.3.1温度场对比

机房原设计值为高架地板0.6 m，地板格栅开孔率50%，方案逐步优化后调整为高架地板0.8 m，格栅开孔率40%。优化后，原机房的局部热点消失，气流组织改善。表2 为优化前后的不同截面最高温度值，数据显示优化后机柜整体温降1.9 ℃，机柜不同位置温降范围在1.6～2.2 ℃，机柜出送风温降均为1.2 ℃。

表2 优化前后两种方案不同截面最高温度值/℃

2.3.2热环境指标比较

在众多热环境评价指标中，热掺混指标HMI 能有效反映机柜气流组织与热环境，数值越小说明冷热掺混程度越小，气流组织越合理，冷量利用率越高，机柜冷却效果越好。HMI 由公式eq.2[13]获得。

式中：Tin_max为机柜进风截面最高温度，K；Tin_min为机柜进风截面最小温度，K；Tin为机柜平均进风温度，K；Tout为机柜平均进风温度，K；Tref为空调送风温度，K。

通过模拟结果对机房后排局部热点区域机柜进行计算，比较HMI 值。如图11，优化后方案的HMI 值明显小于原始方案，使HMI 值从0.18 降至0.02，气流组织效果良好，冷却效果佳。

图11 两种方案局部热点机柜HMI 值曲线图

3 结论

数据机房气流组织的优化是为了减少冷热气流掺混程度，提高冷量利用率，消除局部热点。通过调整设计方案高架地板的静压层高度和格栅开孔率来逐步优化气流组织，并比较优化方案前后的气流组织与热环境指标，最终得到以下结论：

1）较于格栅开孔率，静压层高度对气流组织影响更大。

2）提高静压层高度可使机房整体温度出现明显降低，局部热点消失，气流组织改善。但当高架地板高度提高到某种程度时，速度场与温度场变化不大，改善效果不再显著。因此，应结合施工要求和气流组织合理选择。本模型静压层高度为0.8～0.9 m 时气流组织效果较好。

3）近CRAC 侧压力小，出风量小。远离空调侧压力大，冷量大，冷通道前后气流组织不均匀，地板格栅出风量最大处通常位于冷通道中后部。

4）格栅开孔率的增大会导致冷通道温度增加不均，而造成机房内气流组织分布不均。格栅开孔率为40%～50%时气流组织效果较好。此外，建议工程上亦可采用高、低开孔率相结合的方案，来达到最佳的气流组织效果。