骆清怡，王长宏

（广东工业大学材料与能源学院，广东广州 510006）

0 引言

20世纪80年代以来，数据中心建设范围越来越广泛，规模不断扩大，为了保证数据中心收集、处理和储存数据时高效稳定准确，需要对运行期间产生的热量进行排出处理。据统计，2017年我国数据中心的年用电量约1,200～1,300 亿千瓦时，超过三峡水电站一年的发电量，超过全社会用电量的 2%[1]。数据中心约占全球总用电量的1.3%[2]。服务器功率在过去十年增长了10 倍，功率密度达到300～2,000 W/m2，是普通公共建筑的几十倍[3]。因此，需要对老旧已有的数据中心进行节能改造，对新建数据中心进行节能设计，引用现有的高新绿色技术，根据当地的地理气候条件进行因地制宜的系统设计。

本文从机房级冷却、机架级冷却和芯片级冷却对现况和已有技术以及未来发展方向进行分析。有学者根据大量实验数据分析得出机柜级冷却比机房级冷却平均节能52%，芯片级冷却较机柜级冷却进一步平均节能44%[4]。

1 数据中心概况

数据中心内部组成主要包括机架、控制中心、机房冷调系统和电力分配中心等[5]。数据中心的电力分配为可用电源和常规能源，通过分配中心分配到不间断电源和冷却系统。不间断电源供应给IT设备，IT设备的主要耗能有计算负载和风扇等。数据中心的得热主要来自IT设备散热，占70%～80%[6]。数据中心40%是冷却系统的能耗，优化冷却中心对降低数据中心能耗具有重要意义。

图1 数据中心能耗分布

1.1 指标参数

能效指标为评估数据中心的能效提供了可视化数据和参考[2]。电源使用效率（Power Usage Effectiveness，PUE）用来评价数据中心全年能源效率，总能耗越低的数据中心PUE 越低，说明其能源效率越高。PUE 的表达式为：

式中，PUE 为电源使用效率；Wc为数据中心总设备能耗，kW·h；Wd为IT 设备能耗，kW·h。

使用各指标时需要注意代入的是准确的相关数据，近期对PUE 的滥用情况较为严重，用局部PUE 来代替整体PUE 或牺牲环境和水资源作为代价来获得较低的PUE，均是不可取的。

1.2 数据中心冷却特点

由于服务器全年不间断运转，单位散热量较高，温度分布不均，送风温度位于宽温区，送风呈现出95%的高显热比，不引入新风，除湿负荷小，送风参数稳定，洁净度要求高。对于数据中心的运行条件和规范，中华人民共和国住房和城乡建设部颁布的《GB50174—2017 数据中心设计规范》[7]中环境参数为18～27 ℃，露点温度为5.5～15 ℃，相对湿度不大于60%。美国暖通空调和制冷工程师协会（American Society of Heating，Refrigerating and Air-Conditioning Engineers，ASHRAE）根据IT 设备的发展和数据中心热环境的研究成果分析ASHRAE 2015 《 Thermal Guidelines for Data Processing Environments》中得出A1～A4 分级推荐和允许环境参数分布（图2）[8]。

图2 A1～A4 的允许的热环境

2 机房级冷却

机房级冷却与机架级冷却及芯片级冷却对比而言，由于其存在冷热气流掺混，使得效率较低，增加系统能耗。主要冷却技术有精密空调架空地板向上送风封闭冷通道或热通道、地板下安装风机盘管、热通道顶部安装风机盘管和定制机房空调（Computer Room Air Conditioner，CRAC）等。由于送风量的限制，最高满足5～6 kW 发热密度的机柜，对于更高散热需求的数据中心需要寻找其他更高效的散热方式。芯片与冷水机蒸发温度差为32～52 ℃，与之相比自然冷却温差可达15 ℃左右，降低了温差损耗。而且制冷系统中的能源38%消耗在泵和风机维持制冷剂和气流的流动上，为减少这部分能耗，自然冷却和被动冷却技术日益受到青睐。

2.1 数据冷源优化

对于房间级冷却，冷源的选择较多，如自然冷源、离心式水冷机组和间接蒸发冷却冷水机组等，但考虑到数据中心的冷却特点，自然冷源是一种提高能源效率的冷源选择[9]。由于不需要对吸热后的热流体进行降温处理，减少了大部分能源消耗。

自然冷却技术按冷却介质可分为风侧自然冷却和水侧自然冷却。空气侧可利用自然空气对数据中心进行降温，水侧可利用自然冷水排出热量，降低系统故障率[10-11]。按冷却方式可分为直接冷却和间接冷却[12]。热管系统由于能在无外部能量的情况下，以较小的温差传递热量，对室内无干扰无噪音，可与系统集成，具有巨大的应用前景[13]。

2016年阿里巴巴网络技术公司位于千岛湖的数据中心采用湖水自然冷却系统和太阳能板技术，年平均PUE达到1.28[1]。曾丽萍等[14]对湖水源自然冷却系统优化，得到当送风温度为21 ℃和供水温度为14 ℃时，系统能耗最低，比传统制冷系统节能59.7%。王丽欣等[15]以北京市数据中心为例，发现全年可实现全部自然冷却的时间占全年运行时间的24%，部分自然冷却的时间约占全年运行时间的27%，可减少系统1/3 的能耗。田振武等[16]运用乙二醇自由冷技术发现冷水机组全天出水温度在13.1～16.9 ℃，相比传统制冷系统节能超过60%。肖新文等[17]发现填料蒸发式自然冷却风冷冷水机组通过结合自然冷却和蒸发冷却来保证全年运行的稳定性和强化节能效果。LIU 等[18]将两种露点蒸发冷却器与微通道分离式热管结合的混合冷却系统用于数据中心冷却，计算得到性能年平均系数分别为33 和34，与蒸气压缩式制冷相比，年平均节能率约90%；但仍受气候环境影响，在严寒地区和寒冷地区的节能效果较为理想[19]。

热管用在基于热管的空调系统和分布式热管系统中[20]，可代替传统的CRAC，避免将室外的空气带入室内，效率较高[21]。水冷型分布热管空调系统广泛应用于大中型数据中心，单机柜发热量较大。顶置式空调制冷效率高，无水进入机房，可广泛用于新型数据中心机房供冷[22]。SUN 等[23]开发了一套由蒸气压缩制冷单元和由蒸发冷凝器连接的独立热管单元组成系统，当室外温度从-5～45 ℃波动时，系统有近200 kW 的恒定冷却能力，可作为全年运行的数据中心的节能选择。从广州到哈尔滨，节能率从4.6%提高到46%。

图3 综合系统布置

在应对不同气候条件和充分利用自然冷源时对系统进行优化时，可尝试用多模式多阶段减少㶲损大的部件的影响和使用较优的动力源[24-25]。KIM 等[26]提出一种多阶段的室外空气制冷系统，表明该冷却系统可节约21%的能耗。ZHANG 等[27]将机械制冷和热虹吸两种独立回路与三流体换热器相结合。该系统有机械制冷模式、热虹吸自由冷却模式和双模式。当室内外温度差为10 ℃和20 ℃时，热虹吸模式的制冷系数达到10.7 和20.8，系统的全年能效比达到12.6，比传统空调高得多。

自然冷却是数据中心节能的核心技术，但要对不同应用场景进行针对性的设计和优化[9]。对于机房级冷却，自然冷源利用率较高的为严寒地区和寒冷地区，全年可利用的时间为 44.1%和27.7%，与之相比其他地区都低于10%。直接利用自然冷源无法满足机房的品质要求，只能作为辅助方法[28]。

自由冷却技术是一种利用自然冷源对数据中心进行散热的节能，可再生且可持续的技术。但由于自然冷却受气候、地区以及地理条件影响，较少地区能满足全年运行，一般地区运用自然冷却也只能作为辅助手段，成本较高。可通过省煤器、热管、吸附式冷却、自由蒸发冷却和冷却塔冷却等来辅助数据中心散热。其中蒸发冷却空调可以充分通过冷通道来强化冷量的利用[29]。热管因其易于与系统集成、体积小以及针对性强而拥有广阔前景，随着未来对热管的不断研究，换热性能和重量的不断优化，将是一个较好的突破方向。

2.2 机房气流组织优化

为减少冷量浪费，国内外许多学者会对机房内热环境进行模拟优化。主要研究内容有送风形式、地板开孔率、机柜摆放位置和机房空间尺寸[4]。常见的解决方案是机架的修改和机架服务器放置的优化，散热效果可以提高50%以及温度变化幅度降低60%[5]。一般数据中心采用地板送风方式（图4），统一管理、安装方便且初投资低。但是冷热空气掺混会损失大量冷量[10]。

图4 气流组织路线

如果不对气流组织进行有效控制，将会造成局部热点过热、冷凝温度过低以及能耗损失增加等问题。对于气流组织管理现有的主要方法有封闭冷通道、封闭热通道以及增加旁通挡板和盲板等方法。封闭冷通道（图5）的小风量大温差送风方式虽然能减少风机送风量但会产生热回流现象。避免热空气回流可以封闭热通道（图6），采用大风量小温差送风方式，维持热通道负压，提高热均匀性。

图5 冷通道封闭的气流组织

图6 热通道封闭的气流组织

在布置基础设备时，送风口与机柜的距离为1.2 m、封闭热通道宽度为12 m 及回风静压箱高度为1 m的数据中心子模块为最优模拟结果[30]。对于服务器的排布可采用30°倾斜服务器的机架，至少可带走6%的额外热量[31]。前送风使得整体环境更加均匀，对封闭冷通道加装空U 板后优化气流组织，规避冷空气短路[32]。

在基础设施已经确定的情况下，随着负载的不断增加，为保证服务器的运行质量，可以采用落料板、盲板、穿孔贴片和冷通道控制对气流组织进行进一步优化[33]。其次，封闭机柜空槽位，送风地板下阀门合理设置以及添加空气导流罩也可以有效改善温度分布不均和气流混乱问题[34]。钱存存[35]通过改变室外机排风方向，将设计温度从15 ℃提到18 ℃，PUE 降至1.42，节电率为23.2%[35]。SILVA-LLANCA 等[36]提出将5 个架空热交换器放置在通道上方，迫使气流向下进入通道和向上移动，使得阻力比普通的穿孔地板小，冷流体更均匀，减少熵降。

气流组织优化技术适用于已建成的以空冷为主要散热方式、依赖机房空调的数据中心，已有的优化技术为确定送风方式和机柜摆放，规划冷热通道路线，调整地板开孔率和增加落料板与盲板等。每一个数据中心都要根据自身的情况选择合适的优化技术，突破地板送风方式并尝试顶端送风方式，可能会带来不一样的效果。

3 机架级冷却

机架级液体冷却主要形式有热管背板机柜冷却和水冷柜门，制冷末端靠近负载机架使得换热环节减少，减少风机能耗而且可以对单机柜进行精准能耗控制，几乎没有局部热点，最大散热量为15 kW[1]。负载过大时热管出风温度上升使得通过增大风量来解决过热问题有一定局限[37]。基于行和机架的体系结构比基于机房的体系结构减少了29%的冷却功率，在基于行和机架中添加一个外壳来分隔冷热气流可以显著减少循环和旁路，进一步降低18%的冷却功率，基于行和机架的分布式冷却结构初始成本更低且更容易维护[38]。

热管最佳充液比随着背板进风温度上升而增大。在标准工况下，采用R22作为工质的最佳充液比为65%～75%[39]。CHANG 等[40]在机架后门安装微通道独立热管进行冷却，发现系统最佳制冷剂填充比为65.27%，系统最大制冷量为9,610 W。田浩等[41]设计机柜级别的热管系统，可代替CRAH（机房空气处理器），PUE 由1.6 降到1.35，节能率可达26.8%。

图7 环路热管机架原理

目前对机架级冷却的研究由于水对电子器件的威胁，倾向于热管冷却。虽然对于机房级冷却而言，机架级冷却温度更均匀、耗能更低，但热管在顶端和背部的节能率不突出，可能是由于针对大器件的热管冷却效率下降和机柜内环境温度与热管温差不高使换热效率下降。而且无论是水的泄漏对电子器件不可挽回的损失还是氟利昂有毒气体对人体的危害，应严谨对待管道密封问题。对于背板空调需要其他加湿装置来调节室内湿度，之后的研究如果将背板式空调作为消除局部热点配合CRAC，对环境空气调节会达到更好的冷却效果。

4 芯片级冷却

芯片级冷却系统直接对发热元件进行冷却，可对热量进行热回收利用和更有效利用自然冷源，适用于20 kW 以上单机柜功率如刀片式服务器[4]。但由于系统复杂，对服务器进行针对性改造，成本较高。

4.1 芯片空气冷却技术

传统芯片空气冷却技术采用离心扇强化散热，但由于发热密度的不断上升，通过提高风扇功率和转速来增强风扇的散热效果有限。随着热管技术的不断进步，许多学者发现热管的高导热性能非常适合于小温差的中央处理器（Central Processing Unit，CPU）芯片散热，可以解决高热流密度器件的散热问题，提高散热板的均温性[42-43]，把热管和散热器结合。散热器底板温度越均匀，翅片强化热扩散板散热能力越强[44]。诸凯等[45]对热管结合散热器进行实验，发现热管嵌入式散热器和铜制底板散热器相比，可提高冷却能力15%，同时减轻散热器重量30%。

4.2 芯片液体冷却技术

传统空冷难以满足数据中心的散热需求时，数据中心更倾向于液冷。液体冷却比热容大，热流密度高，对于热回收利用价值大，有更高的出入口温度，是一种拥有广阔前景的冷却技术[46]。冷板影响热物理性能的因素有冷却剂进出口位置、翅片形状和排列等。出现的问题有冷却通道的压降、流动不均和不同冷却区域内流动[47]。

国内外学者对单相液体冷却的研究主要集中在3 个方面：基础影响因素、槽道类型及优化和导流结构强化。

4.2.1 基础影响因素

流质的种类会对换热性能产生影响。纳米流体相对于纯水来说具有更好的冷却效果，但同时增加了压降和摩擦系数[48]。浓度为1.0%的Al2O3水溶液和0.4%浓度的TiO2水溶液带来最好的换热性能，与水相比分别降低CPU 约23.2%和14.9%的热量[49]。除了传统流体，新型冷却液如基于非胶体颗粒集中悬浮流动冷却液由分流和汇聚喷嘴对CPU 进行冷却，泵功率可以下降100 倍[50]。

基于传统流道，对比不同尺寸换热器得出沟槽式水冷散热器的最佳结构参数：槽道长度为75 mm，槽道高度为4 mm，槽道宽度为0.5 mm，热扩散板边长为40 mm。最佳运行参数：冷却水体积流量为0.6 L/min，冷却水进口温度为20 ℃。流动中产生的滞留气泡较长时抑制传热过程，而气泡较短时，扰流作用强化了传热[51]。热阻是影响微通道热沉传热性能的重要因素，电容热阻占总热阻的比值随着雷诺数及通道宽高比的增大而降低[52]。张钊等[53]发现冷却水的流量分布只与进口位置有关，与出口位置无关。其中心位置上进上出进出水口分布的流量分配均匀性最佳。

4.2.2 槽道类型及优化

与传统直通道微槽道相比，由于再循环环流、截面涡和二次流的存在，波状微通道具有更大的努塞尔数、更薄的热边界层和流动边界层，是比直通道更优的几何形状[54-55]。更小的波长和更大的振幅的波形通道不仅带来压降，而且热沉使得热阻沿着流动方向减小[56]。相对弯曲型和阶跃型的微通道，锯齿形的微通道水冷壁温度最低，传热系数最大，具有最佳热工性能，但同时压损、摩擦系数和壁面切应力也最高[57]。

图8 微通道形状

除了对形状进行优化外还可以对流道进行分型，较大的分型尺寸和分型层数的分型支流道网具有较强的传热能力，且泵功率较小[58]。Y 形构型微通道具有更高的传热效率和更低的进出口压降，而且当通道级数为3 级、分叉角度为60°、分支个数为2 时，散热器的综合换热性能最好[59]。当压降较小时，树形构型流动阻力更小，但是热阻较大；当压降增加时，平行通道有更好的散热性能[60]。在通道中加入偏振翅片可以提高散热热流，并可将压损容许范围扩大到35 kPa[61]。

对于微通道而言，拓扑结构对对流的增强有重要意义，通过最大化管道流量分布和减少流量间的差异可以改善传热。其中蜘网状的传热性能优于直线型微通道，当热流密度为100 W/cm 时，最大热源温差可达9.9 ℃，且随着热流密度增大而增大[62]。

图9 蜘网状拓扑结构

4.2.3 导流结构强化

增加翅柱和导流结构可以较好地提高热扩散效率。王彬等[63]研究发现增加翅柱结构可提高热扩散板的散热效率。对于冷却性能而言，翅柱外围四周设有导流通道的散热器最优。王雅博等[64]分析增加针柱结构对换热效果的影响，结果表明中间垂直射流四出口针柱式换热器较传统型的流动阻力和压损较小，具有较好的换热和流动效果。“之”型流道换热器的冷却性能比圆钉翅式高24%～55%[65]。

综上所述，纳米流体和悬浮冷却液能带来更好的换热效果和降低泵功率，槽道式换热器尺寸、入口位置、槽道形状、拓扑结构更优和导流结构等对换热和流动有影响，对多进出口分流和偏振翅片可能会带来新的研究思路。

射流冷却技术需要一定的高度空间，与高密度的服务器要求相矛盾。铁鹏等[66]对模拟热源进行射流冷却实验发现，随着流量提升，模拟热源温度仅为0.76 ℃，降幅几乎可以忽略。仅针对基板冷却来说，将基板冷却和整个系统结合起来能实现更高密度的集成。肖新文等[67]提出二次侧直接接触冷板式液冷系统，分析发现全部服务器系统采用自然冷却时PUE 仅为1.18。

图10 二次侧集中循环直接接触冷板式液冷系统

相比空冷和单相液冷，相变冷却具有更高的换热效果，利用相变潜热可以达到1,000 W/cm³的热流密度，换热更均匀且功耗更低[68]。流动沸腾虽然由于相变潜热拥有优越的换热性能，但受限于微通道沸腾中较低的临界密度和不稳定，难以持续。对于上述不利现象可以引用压降元件，增加一个与流动方向相反的流阻来使得流动稳定增长，辅助人工成核位点可以管理气泡生长位置进一步管理沸腾流动[61]。不同的换热介质换热效果不同，如R22 比R134a 的换热性能高19.2%[69]。液体水循环的泵功耗是使用HFC134a 的5.5 倍，是使用HFO1234ze 的4.4 倍[70]。针对热管的微型槽道，毛细限制现象更为严重。可以通过改变槽道的形状、创建润湿性梯度、使用混合排芯系统和施加电场等方式来扩大毛细限制和提高传热能力[71]。

双级回路热管系统将服务器的冷却和环境结合起来，可与室外自然冷源进行换热而无需额外的空调系统[4]。但由于环路热管长度较长，沿途产生热损失比较大，在蒸发器壳体和补偿器之间的接触面上加一层保温层如镀铝铜和钇稳定氧化锆保温层可以减少壳体热量泄漏[72]。

除了热管外，热虹吸利用密度差作为动力也被广泛应用在数据中心的冷却上。SHAO 等[73]将蒸发冷却与循环热虹吸相结合发现传热提高了7%～33%，全年自由冷却时间延长 7%～14%。SEURET 等[74]将两相重力驱动微尺度热虹吸冷却系统应用在数据中心冷却中，预计PUE 可低于1.05。CHAUHAN 等[75]进行热虹吸回路循环实验，研究发现热虹吸冷却器芯片表面和冷冻水温度的差值可达43 ℃，当温差为36.5 ℃时的热流密度可达25 W/cm²。

图11 芯片冷却的环路循环

对于间接相变换热而言，直接相变换热如全浸没冷却式可以直接将热量传递到周围环境中，是一种更具有发展潜力的冷却技术[76]。但难点在于冷却介质的选择和控制相变过程、矿物油性质的变化对材料力学性能和化学性能产生影响[77]。HAYWOOD 等[78]利用矿物油进行废热利用，降低了热源和放电箱之间81%的温差，减少该项目50%的冷却支出。

综上所述，液冷的优点较多，冷却出口温度更高、冷均匀更好且散热能力更强，但同时面临许多挑战。液冷更适合全新的服务器构架，无法在现有的主流风冷冷却数据中心上进行改造。换热介质与电子器件的兼容性还待测试研究，系统管路更为复杂，需要进一步优化和与数据中心兼容，管路和设备的连接部位的密封性还待进一步优化设计。但液冷作为一种具有前景的冷却技术，在研究的持续深入和技术不断完善中，未来必然会被广泛应用在数据中心热管理中。

4.3 芯片蓄冷技术

由于数据中心的散热全年不间断及芯片的温度较高，蓄冷技术是一项十分适用于数据中心的节能节费技术。蓄冷系统包括显热式蓄冷、潜热式蓄冷和热化学蓄冷3 种方式。潜热式蓄冷能量密度为另外两种方式的4～15 倍，优势在于能量密度大，热交换过程中温度变化小，易于控制[79]。SINGH 等[80]对基于热管蓄冷与冷却塔结合起来，每年可以为数据中心处理60%的热负荷，最小投资回收期为3.5年，适用于年环境温度低于允许冷却水温度的场所。CHEN 等[81]发现吸收式冷水机组和蓄冷水可消除高峰期冷负荷，节能效率达到51%，㶲效率达到17%，成本回收期低至286 d。

蓄冷技术能够增加电网稳定性和减少冷却系统的负荷，但由于蓄冷技术的设备占地较大，对于数据中心有一定的硬件要求，小型化高换热量稳定的蓄冷系统是研究目标，而目前水蓄冷技术较为成熟，冰蓄冷等潜热蓄冷技术的稳定性和相关机理性研究仍待学者进一步分析。

4.4 芯片热回收技术

数据中心作为一个常年需要向外散热的稳定热源，出水热量的热回收价值较高。建议引用一次能源再利用系数（加热网络有用能源和总能源的比值）作为评估数据中心基础设施热量的度量标准[82]。在循环中，蒸气压缩系统的凝汽器出口二次流体温度较高，具有更高的可用能量[24]。吸收式制冷提供额外的冷却负荷，而有机朗肯循环直接从废热流提供现场发电，这两种方式都可用在未来数据中心的研究和优化上[83]。

SAKANOVA 等[48]引入一个额外的熵产生项对基本服务器布局优化，优化后的最大熵产率降低15%，而出口均匀性提高了42%。引用分离式热管分布式冷却系统，并采用热泵进一步提高废热质量使得热回收系统的电能利用效率达到0.13，年节电率近10%[84]。黄琼海等[85]研究了三介质换热器的热泵/热管一体式热回收机组，发现系统的综合能效比可达3.50，相比于普通空气源热泵节能28%左右。许婧煊等[86]提出采用液化天然气为数据中心供电，对气化冷量和发电余热进行回收利用，减少了一次能源利用和碳排放。

综上所述，对于芯片全年稳定发热热源来说，废热质量较高，可利用空间大，通过液冷和热管对芯片废热进行收集，热泵提高废热质量，集中对周边居民区进行供暖供热水，可有效降低电能消耗和煤炭燃烧。近年来数据中心多模式系统因其充分利用数据中心热量，根据气候条件和负载情况进行调节，从而降低系统制冷能耗而受到青睐，也是未来学者的研究方向。

5 结论

本文总结了近年来用于数据中心热管理策略的现状，指出未来最有前景的散热技术，数据中心的冷却按规模分为机房级冷却、机架级冷却和芯片级冷却三种尺度，研究得出如下结论：

1）机房级冷却系统难以运用自然热源，能源利用率不高，适合最高散热密度为每机柜6 kW 的小型数据中心；对于气流组织优化大致上从出风口位置、机架的排列位置、增加U 型板盲板旁通挡板等来规划气流路线从而提高冷量的利用率；

2）机架级冷却通过减少冷热气流掺混来提高冷却系统能效，适用于最高散热密度为每机柜15 kW 的大中型数据中心；主要方式是在机架背板安装液冷门或利用热管对机柜热量进行交换；如何将服务器的热量通过机柜有效传递是一个亟待解决的问题；

3）芯片级冷却适用于单机柜20 kW 发热量的数据中心，最高可处理50 kW 单机柜热流密度；对于数据中心从发热源头处入手可以直接避免基板到空气的热扩散、传导和热扰动，降低机房空调的负荷；对于基板冷却来说单相间接冷却的冷板目前技术已较为成熟，但重量问题、流动压损问题和泄漏问题仍要谨慎对待；未来随着热管换热效率的不断提升，可提升对芯片的冷却效果；相变在微通道中的许多机理和模型算法尚处于研究阶段；

4）随着研究的不断进行，数据中心散热技术将越来越有针对性和高效性，随着大数据时代和5G技术的普及，目前行业对数据中心冷却技术的需求仍在上升阶段，前景更广阔。