杨灵泉，包 衍，施瑜豪，娄洁良，赵 逸

（1.中国电信股份有限公司上海分公司，上海 200000；2.上海邮电设计咨询研究院有限公司，上海 200000）

1 某机房现状分析

1.1 机房基本情况

本次研究选取了某数据中心典型机房作为研究对象，该机房面积约 408 ㎡，采用传统下送风布局方式，高架地板高度为 60 cm，机柜为标准3.5 kW机柜，送风方式为下进风后出风。地板下送风设计，主要平面布局如图1所示。

图1 某典型机房布局图

1.2 机房热负荷分析

从典型机房的特质分析：该机房为无人值守机房，该机房长 22.65 m，宽 18 m，高 3.6 m，以机房边界隔热条件完好为前提，主要热源来自机房内的IT主设备、少量照明、消防等保障设备，同时IT主设备以显热为主，考虑功耗都转为热量，另加建筑围护结构的传导热以80～100 W/m2，本文以100 W/m2计算[1]。

该机房内共 148 个机柜，单机柜设计功率为3.5 kW；全部为柜内底部进风、后/上出风的散热设计；机柜内主要为服务器和网络设备，远期设计负载约为518 kW，目前IT 设备运行总功率约为 130.8 kW。

机房内发热量为Q=130.8 kW+0.1×（22.65×18） kW=157.14 kW

1.3 机房制冷能力分析

机房两侧装有 7 台某品牌下送风精密空调，单台制冷量为100 kW,送风量单台为40 000 m3/ h，机房空调冷量足以冷却机房内部热负荷，并有较大冗余。

但机房存在制冷能耗高和局部热区问题，判断是由于部分服务器反向安装，导致向机柜热通道吸风，向冷通道排风，同时功率较大服务器集中布置，部分区域热量需求远大于其他区域，造成冷量不能有效送达和大量冷量浪费问题[2]。通过对每个机架封闭冷通道0.3、1.2、2 m的高度总计1 173个温度测点进行了测量，相关测点的温度分布如图2所示。

图2 机房热点分布图

空调目前的运行及设定情况见表1。

表1 某典型空调运行及设定表

同时机房存在过冷问题，为解决热点区域问题，造成IT负荷较低机架的冷量不能有效利用，大量冷量浪费问题。部分机架冷量计算如表2所示。

表2 部分机架冷量计算表

1.4 优化前PUE计算

电能使用效率（Power Usage Effectiveness，PUE）是衡量数据中心机房节能程度的最重要指标，TGG和ASHRAE给出的PUE的定义相同，为数据中心总能耗与IT设备能耗之比：

式中，Et为数据中心总能耗，EIT为数据中心IT设备总能耗。

由于衡量数据中心能效的规范、标准给出的方式都不尽相同，本文在计算中采用GB/T32910.3—2016《数据中心资源利用第3部分：电能能效要求和测量方法》的计算方法：

PUE=（IT 系统耗电量 + 机房照明统耗电量 + 空调系统耗电量 +UPS 自身损耗）/IT系统耗电量 （2）

（1）IT 设备的用电量：从列头柜机房现场采集的 IT 设备功耗表我们可以得出该机房的 IT 设备总用电量为9 417.6 kW·h。

（2）机房照明部分：机房内照明按节能方式开启，照明共计能耗为40.32 kW·h。

（3）空调部分：空调系统为风冷型精密空调。根据对应空调配电柜电量统计，空调机组瞬时能耗为4449.6 kW·h。

（4）UPS 设备部分机房配置的 UPS 设备为高频机，输出效率较高，根据UPS设备前后级配电屏功率计算，损耗为689.76 kW·h。

优化前该典型机房PUE=（9 417.6+40.32+4 449.6+689.76）/9 417.6 ≈ 1.55

2 CFD建模分析

2.1 CFD建模概述

基于以上典型机房物理结构、热负荷、冷量数据等属性的概述，着手进行CFD建模，保证模拟工况的准确性[3]。建立的三维模型包括：

（1）建筑围护结构、门、窗、梁、柱、通风口、照明设备等。

（2）高架地板，地板通风格栅，吊顶开孔、通风口等。

（3）机柜：网络机柜、服务器机柜、交换机、服务器等 IT 设备。

（4）电力系统：列头配电柜。

（5）空调：下送风精密空调。

（6）送风系统：风机，风管等。

（7）走线架：强电走线架、弱电走线架等。

按照机房实际长宽高建立模型空间，建立可能影响出风与回风的立柱及横梁，以实际架空地板高度0.6 m处建立架空地板，将7台空调、8列头柜及机架按照实际大小及安装位置建模，如图3所示。

图3 某典型机房侧视图

由于典型机房机柜采用的是下进风后出风模式，因此需要对前进风后出风机柜模型进行调节优化[4]。每个机柜中按实际情况建立斜挡板导风、封闭进风口、调整出风开孔率、调整服务器安装位置、按照实际情况将每个机柜中的服务器按U位建入其中并进行盲板封闭、按实际情况设置每台服务器的能耗，如图4所示。

图4 机柜建模侧视图

2.2 CFD建模仿真数据校验

经过前期模型校准，机柜进风温度的模拟值已与现场实测值接近，由于现场测试条件所限，所用工具为点温仪，适用于测量设备表面温度，而CFD模拟算法模拟温度为空气温度，因此与实测值有误差，经过比对，最大误差不超过6.5%，基本可以认定仿真数据有效，仿真数据与现场测量值对比如表3所示。

表3 仿真数据对比现场测量值对比

同时对进出风风速进行抽样综合比对，现场机柜各点风速与CFD模拟数据接近一致，空调回风风速、下送风风速由于测量条件限制有4%～6%的误差[5]。

2.3 CFD建模结果分析及优化思路

通过运用CFD软件对某典型机房进行模拟，对比现状的校验和数据分析，某典型机房存在以下的情况和问题。

2.3.1 问题1

机房实测IT设备入口温度范围为18.5～35.7 ℃，温度差为17.6 ℃，通过模拟发现现场开启的5台空调，输出制冷能力虽然远高于现场实际需求，但由于冷量分配不均，热区满足散热需求的情况下，低负荷区域温度已低于20 ℃，出现冷量过剩情况造成能耗的损失，机房A列—C列温度分布如图5所示。

图5 A列—C列温度分布

2.3.2 问题2

根据计算及现场测量，单列机柜前后进风量不均，距离空调最近的机柜由于架空地板下风速过高，实际输送至机架内部的风量较小，B列机柜进风风速分布如图6所示。

图6 B列机柜进风风速分布图

2.3.3 问题3

空调风机横置安装，出风并非均匀向前，同时受建筑立柱影响，部分区域存在涡旋现象，造成风冷的损失，气流分布不均。

2.3.4 解决的相应策略

通过以上问题的分析，借助CFD工具对可行的策略模拟计算和经验论证，进行了针对性的现场实施改造。

（1）策略1：根据CFD软件模拟的结果，对于过冷区域，调节对该区域影响最大的空调，提高空调回风温度并降低送风风速，消除存在的冷量过送问题。

（2）策略2：对于高负荷区域及部分机柜进风不足问题，采用主动将气流导向机柜措施。为了起到良好的导流效果，挡板按一定夹角放置，同时，为了保证后方的空气流通，将挡板中间挖空，使得下半部分的风可以从中穿过，如图7所示。

图7 气流挡板示意

（3）策略3：机柜缝隙封堵，阻止了冷空气从机柜底部开口直接进入热通道造成冷量浪费，并提升空调的回风温度，提高空调运行效率。通过加装地板下导流装置使气流组织更有序化，将冷空气送到指定区域，从而消除各列机柜底部风量波动，同时也减少了特定区域的温度不均匀现象，改造前后效果对比如图8所示。

3 优化后数据结果分析

3.1 现场空调参数调整

根据热负荷模拟，空调运行模式可以从5+2优化为4+3，同时提升2台空调回风设定温度，降低4台开启空调的风机转速，现场根据模拟结果进行了实际调整，调节后空调运行及设定如表4所示。

表4 调节后空调运行及设定表

3.2 现场导流板安置

根据模拟，现场对A—C列功耗较高区域进行导流板安置，在每列头部1号 2号机柜及尾部18号19号各安置一块导流板。安置挡板对于对应机柜的散热有着显著的帮助，将机柜内温度降低3.7 ℃，散热温度降低3.3 ℃，效果对比如表5所示。

通过挡板安置前后的数据对比，可以发现气流导流对改善下进风机柜具有针对性效果，同时该方案有很强的可调配性，可以根据现场需求，调整挡板间夹角和位置，调整挡板下挖去部分的大小等。

3.3 优化后PUE计算

结合一周的现场采集综合数据，PUE计算结果如下：

表5 挡板前后效果对比

（1）IT 设备的用电量：从列头柜机房现场采集的 IT 设备功耗表我们可以得出该机房的 IT 设备总用电量为22939.2 kWh。

（2）机房照明部分：机房内照明按节能方式开启，照明共计能耗为：94.08 kWh。

（3）空调部分：空调系统为风冷型精密空调。根据对应空调配电柜电量统计，空调机组能耗为9 679.6 kWh。

（4）UPS 设备部分机房配置的 UPS 设备为高频机，输出效率较高，根据UPS设备前后级配电屏功率计算，损耗为1651.44 kWh。

优化后 PUE =IT 系统耗电量 + 机房照明统耗电量 + 空调系统耗电量 +UPS 自身损耗 /IT 系统耗电。

PUE=（22 939.2+94.08+9 679.6+1 651.44）/22 939.2 ≈ 1.498。

4 结 论

气流优化是实现风冷数据中心能耗优化的一项重要措施，本文通过对机房现场问题的分析，以机房CFD建模作为主要分析工具，通过模型的校验、数据对比中发现造成机房实际能耗偏高的问题原因，针对性进行优化策略的制订，同时在现场部署前，通过对优化策略进行模拟，验证策略的有效性，也验证策略的安全性，确保机房运行的安全。通过在典型机房的试点，该优化方法取得了良好效果，可为类似情况提供借鉴。