黄冬梅， 杨 超（北京瑞思博创科技有限公司，北京 100036）

计算流体动力学在数据中心的应用

黄冬梅， 杨 超
（北京瑞思博创科技有限公司，北京 100036）

介绍了数据中心计算流体动力学模型，阐述了计算流体动力学在数据中心整个生命周期的各种应用。指出计算流体动力学能准确预测数据中心的气流组织及温度分布情况，应用于数据中心设计、节能改造、运维以及新技术研究等方面，可有效提升数据中心容量使用率，降低能耗和电源使用效率。

数据中心；气流组织；计算流体动力学；节能改造

黄冬梅（1968-），女，高级工程师，从事计算流体动力学方面的工作。

0 引 言

互联网、大数据和云计算的快速发展，对IT设备的计算能力和存储能力提出了越来越明确的需求，同时却要求安装这些IT设备的数据中心具有高可用性、高可靠性和低能耗，造成IT设备的功率密度越来越高，消耗的电能越来越多。传统的机房已经不能够应对设备功耗的不断上升，即使升级了机房，局部热点仍然可能存在，因为设备温度过高而导致宕机甚至烧毁的事故几率增大。计算流体动力学（Computational Fluid Dynamics，CFD）作为一种成熟的计算机仿真技术，可准确预测数据中心的气流组织及温度分布情况，被大量应用于数据中心设计、节能改造、运维以及新技术研究等方面，可有效提升数据中心容量使用率，提高冷却效率，降低能耗和电源使用效率（Power Usage Effectiveness，PUE）。

1 数据中心CFD模型

1.1 数据中心CFD软件

CFD软件分为研究型通用软件和行业专用软件，前者要求使用人员有很强的计算流体力学专业背景，后者则易于操作，便于数据中心设计人员和运维人员使用，对象为数据中心构架工程师、暖通工程师、应用工程师和运维工程师等。在现代数据中心行业中，商业化数据中心专用CFD软件可解决数据中心气流组织问题。数据中心CFD软件采用有限体积法对数据中心气流组织及传热进行模拟分析，获得数据中心内部的温度场、流速场、压力场和湿度场的分布情况及IT设备工作时的入口温度、机柜内部气流状况、机柜冷却指数（RCI）、空调的送风温度和回风温度、空调利用率、房间内部气流流线图、房间能效、机柜效能和PUE值等仿真结果。利用CFD软件，能够对机房内气流组织进行优化，预防气流短路、热空气回流等可能引起能源浪费或局部热点的情况。典型的气流短路如图1所示。典型的机柜出风口热风电流如图2所示。

1.2 定义数据中心CFD模型

一般CFD软件的模拟流程为前处理、求解、后处理。

图1 典型的气流短路

图2 典型的机柜出风口热风回流

前处理需要定义所求问题的计算域，建立模型，划分网格及网格独立测试，定义流体属性、材料属性，设定边界条件，选择湍流模型及参数，瞬态问题还需指定初始条件。

求解是用数值求解方案求解结果的过程。常用的求解方案包括有限差分、有限元、谱方法和有限体积法，主要差别在于流动变量被近似的方式及相应的离散化过程，目前CFD软件广泛采用有限体积法。

后处理是为了有效观察和分析流动传热计算结果，CFD软件配备后处理器，采用图形、动态的方法直观观察流动效果及计算结果。

目前商用化的数据中心专用CFD软件，已经将复杂的CFD过程无缝集成，整个过程在一个操作界面中完成，操作简单。

前处理建模的整个过程简单，利用内置的数据中心基础设置模型库，可快速构建一个完整的数据中心三维模型，依据实际情况修改预设的三维模型物理空间参数（如建筑结构、机柜布局、高架地板、地板格栅、吊顶及回风口、空调等）和设备属性（如机柜（服务器）的发热功率、空调的制冷参数、地板格栅的开孔率等）。

通过模型库搭建的两个三维数据中心模型如图3所示。

图3 数据中心三维模型

空调、机柜属性参数设置如图4、图5所示。

图4 空调属性参数设置

求解将采用内置的数据中心专用的求解器，只需在操作界面中点击求解按钮。后处理更是采用内置的按钮命令，直接显示所需的各种处理结果。因此，现代数据中心专用CFD软件，将复杂问题用直观形象的方式描述出来，达到了优化数据中心冷却性能的目的。

图5 机柜属性参数设置

1.3 确定计算结果可用

CFD软件作为计算机仿真工具，对计算结果是否可用还需要一定的判断。一般，要确定三维模型是否正确，如物理空间参数和设备属性是否输入正确，能否切实反映实际的物理模型。数据中心人员从模型上基本可以看出物理空间参数是否正确，通过规格书或实际运行参数获知输入的设备属性是否正确，但要保证仿真结果的准确性，更重要的是计算结果必须收敛。仿真结果往往需要通过很多次的迭代计算，在软件计算过程中会设置计算的监控点以及计算的残差来帮助使用者判断，只有在系统达到指定残差精度或迭代步数时迭代才结束。CFD计算残差如图6所示，可见计算残差达1。

图6 CFD计算残差

判断仿真结果是否收敛的唯一标准是模型在物理上是否收敛，即稳态仿真时监控点迭代次数的变化波动非常小，近似为直线。空调送回风温度监控如图7所示，可见温度监控平稳。

1.4 计算结果展示

后处理的计算结果展示，帮助使用者了解数据中心是否存在热点问题、速度分布大小、气流组织的分布等，以及用数据报表的形式描述机房的状况。查看计算结果的方式有切面图、矢量图、流线图、云图、动画、视频漫游以及各种冷却指数数据。

机柜底部温度云图如图8所示，可以看出冷热通道的分析是否合理。

图7 空调送回风温度监控

图8 机柜底部温度云图

地板格栅气流流线图如图9所示，从箭头的方向能够看出气流流动的方向以及是否存在气流短路。

图9 地板格栅气流流线图

机柜温度分布如图10所示，可显示哪些机柜存在过热问题，以便快速发现问题所在位置。

机柜入口温度截面图如图11所示，显示入口所有位置的温度值，问题定位更加精准，有别于传统点对点的温度测试。

数据中心的温度云图如图12所示，可显示温度在三维空间的分布状况。

图10 机柜温度分布

图11 机柜入口温度截面图

图12 温度云图

高架地板流量分布如图13所示，可用柱坐标的方式直观显示流量分布。

另外，数据报表对整个数据中心进行数据统计，包括设备数量、负载、冷却状况（空调送回风指数、机柜冷却指数RCI等）。

图13 高架地板流量分布

2 CFD在数据中心的应用

2.1 数据中心设计中CFD的功效

优化数据中心冷却性能是一项非常具有挑战性的任务，数据中心的设计一般都会有多个方案，而最后选择一个最佳方案。有些因素影响数据中心气流分布和冷却性能，实际测量和现场测试不仅费时、费力、费钱，而且有时风险很大，甚至根本不可能。如空调失效测试，新机房设计阶段根本无机房可测。CFD模拟可在较短的时间内进行各种方案和配置的试验，发现是否存在气流短路、热风回流，以便找到可行的方案，并用各种直观的方式展示整个数据中心内的温度分布、空气速度和压力分布。

在设计图纸阶段，预测数据中心的气流组织分布是否合理，采用CFD软件模拟是唯一的途径。CFD软件能够帮助数据中心设计师、咨询顾问和数据中心管理者估算出所提方案的性能，优化数据中心冷却性能。

空调在不同送风温度下机柜进口温度的对比如图14所示。由图14可见，送风温度提高后热点的分布状况。

不同空调布局下机柜最高入口温度分布如图15所示。由图15可见，单侧空调送风方案虽然可以多放机柜，但机柜存在过温的风险。

2.2 数据中心节能改造

数据中心的使用寿命通常不少于10 a，但在它的生命周期中随着IT设备的不断更新换代，设备部署与设计预期就会出现很大差别。由于空间、冷却和电力等的碎片化，无法向数据中心添加新的IT设备，即损失了数据中心的容量。数据中心冷却是限制数据中心容量提高的主要因素，盲目增加空调总制冷量或降低空调温度并不能解决所有设备过热问题，反而导致空调低效运行。

图14 空调在不同送风温度下机柜进口温度的对比

图15 不同空调布局下机柜最高温度分布

实践表明，很多数据中心空调总制冷量远远大于该机房所需求的制冷量，但仍存在部分设备的过温，根本原因是设备布置引起的气流组织不合理，如热风回流、气流短路等，导致了局部热点。为了消除这种过热，只好降低机房的设定温度，导致了部分空调的过度工作，制冷能耗居高。国际组织Uptime指出，由于数据中心机房内气流不适当，用于冷却的冷空气60%都浪费了；数据中心的过度冷却是实际需求的2倍，目前多数机房存在过度冷却问题，相应的机房空调机组耗能也比设计功率增加耗电50%以上，造成机房高额的运行费用。在美国，3年的纯能源成本消耗已经等同于设备购置成本。在欧洲，3年的纯能源成本消耗甚至是设备购置成本的2倍。

采用CFD模拟分析数据中心热点产生的位置及原因，提出有针对性的解决方案，消除局部热点，避免了局部过冷，提升了制冷效率。

CFD在数据中心节能改造时具体流程如下：

（1）收集和测量现有数据中心运行数据，建立数据中心基础设施三维模型，并进行仿真分析。

（2）通过现场的测试数据，如温度、压力、流量、速度等，与仿真数据进行比对，标定仿真模型，修改某些不准确的输入参数。

（3）依据气流组织状况提出改造建议和方案，综合预算、限制条件等确定方案。

（4）改造后，进行测试比对验收节能状况。

目前机房改造常用的措施有：依据设备功率密度分区部署设备，如高密区、低密区等，采用行间空调制冷、普通精密空调送风或其他类型送风形式；封闭冷或热通道，隔离冷热气流；增加机柜盲板，避免冷却气体浪费及热气回流；采用毛刷减少导线槽的漏风量等。发热量大的机柜需要单独送风，如采用主动式通风地板，提升空调送回风温度和制冷效率，增加高架地板高度，减少下部障碍物，减少风机的工作功率等。

2.3 数据中心运行维护

数据中心运行维护过程中，IT服务人员往往依据空间和电力来随意部署设备，而忽视了制冷是否足够。因此，强烈建议在设备变量前采用CFD对气流组织进行预测，确认可行后再去实际安装设备。

部署设备时CFD软件会提示当前机柜空间、电力、冷却、流量等参数是否满足要求。通过CFD软件持续更新数据中心的三维模型，如IT设备的安装或更换，导入实时的数据中心电力等数据，准确反映数据中心气流组织状况。

通过监测的数据，分析当前数据中心可能存在的问题，提前做好计划，提升数据中心容量使用率，避免随意部署设备导致的气流组织问题。IT设备维护人员可根据分析人员得出的结论，及时维修设备故障，调整通风地板通风率、空调温度设置等，提升能源使用效率。

2.4 空调失效模拟

空调是数据中心制冷系统重要的单元，一旦空调失效，会导致机房温度迅速上升，如不能及时恢复将会导致设备宕机，使业务受到重大影响或中断。CFD分析各种空调冗余搭配情况下数据中心的气流组织和温度情况，也可以分析某些极端情况，如空调部分失效或全部失效造成的制冷量不足，机房温度随时间上升的趋势。

2.5 新技术研究

数据中心新技术可以通过CFD软件进行研发预测。免费冷却（自然冷却）是一种在室外温度比较低时，通过相应的技术手段将室外冷源引入建筑内将热量带走，以达到降温目的的方法。目前免费冷却主要有两种方式，一类是空气侧，引入室外冷空气，经过过滤带入室内，对设备进行散热；另一类是水侧，制冷剂不经过压缩机直接循环。

Fackbook免费制冷气流组织如图16所示。通过CFD可以考察该种设计方案是否可行，特别是冷风和热回风混合后的气流温度是否均匀；热风是否可以流畅地排除。

图16 Fackbook免费制冷气流组织

某IT公司用CFD研究创新方案的可行性。将机柜呈圆布局，中间放置烟囱，这样热风通过该烟囱形成自然对流，从而省掉空调、风扇，实现PUE为1.0的效果。

3 结 语

CFD软件是强大的气流组织仿真工具，通过模拟为数据中心气流组织管理提供了科学依据，可以在软件中模拟各种不同方案，能够在设计阶段进行合理的气流组织优化，并对先进的技术进行研究，在运维过程中有效降低能源消耗和运维成本，在数据中心的整个生命周期的不同阶段发挥重要的作用，因而是设计绿色数据中心的必备工具。

［1］ 钟景华.中国数据中心技术指针［M］.北京：机械工业出版社，2014.

［2］ 王福军.计算流体动力学分析-CFD软件原理与应用［M］.北京：清华大学出版社，2004.

［3］ 杨国荣.数据通信设备中心研究［M］.2版.北京：中国建筑工业出版社，2010.

［4］ 袁竟乘.IDC机房节能技术探讨［J］.电子世界，2012（12）：11-12.

App lication of Computational Fluid Dynam ics in Data Center

HUANG Dongmei， YANG Chao
（Beijing Rainspur Technology Co.，Ltd.，Beijing 100036，China）

This paper introduced themodel of computational fluid dynam ics（CFD）in data center，and elaborated the application of CFD during the whole lifecycle of data center.It is pointed out that the CFD is used in the design，energy-saving reconstruction，operation and maintenance，new technology research in the data center.It can accurately predict the airflow and temperature distribution of data center，in order to effectively improve the capacity utilization and reduce the energy consumption and power usage effectiveness.

data center；airflow；computational fluid dynam ics（CFD）；energy-saving upgrading

TU 831

B

1674-8417（2015）09-0006-06

2015 09 23

杨 超（1981-），男，高级工程师，从事数据中心暖通及气流组织计算流体动力学仿真分析方面的工作。