吴曦蕾 刘 滢 倪 航 黄炯亮 郭豪文 庄 园 韩晓红

(1 浙江省制冷与低温技术重点实验室 浙江大学制冷与低温研究所 杭州 310027；2 浙江工业大学化学工程学院 杭州 310014；3 含氟温室气体替代及控制处理国家重点实验室 浙江省化工研究院 杭州 310007)

在信息化高速发展的时代，数据中心已经成为日常生活中不可或缺的部分。根据绿色和平组织联合华北电力大学发表的《点亮绿色云端：中国数据中心能耗与可再生能源使用潜力研究》[1]统计，2018年我国数据中心机架总数约为 271.06万，预计2019—2023年，5年内新增机架数为177.56万，总增长率为65.51%。在如此庞大的数据中心总量基础上，为了满足其高计算精度和速度要求，高热流电子芯片大量集成，同时要求设备零停机时间和不间断运行，数据中心的热负荷急剧攀升，在有限的空间内其电子元件面临的热失效和热退化问题尤为突出[2]。

因此，数据中心散热的优化已经成为系统设计的关键环节，良好的散热和温度控制，不仅可以最大程度发挥其工作性能，也能带来极为可观的经济效益。为了评价数据中心的能效水平，提出了电源使用效率(power usage effectiveness,PUE)这一重要指标，如式(1)所示，该值越接近于1，表示能效水平越好[3]。据2018年3月国家工信部首次公布的《全国数据中心应用发展指引》，全国超大型数据中心平均PUE达1.50，大型数据中心平均PUE为1.69[4]；而据《“十三五”国家信息化规划》要求，到2020年，新建大型云计算数据中心PUE值不得高于1.4[5]。根据现有机房能耗大致构成可知[2]，冷却系统能耗是PUE的重要影响因素，随着政府和社会对能效水平要求的逐步提高，数据中心高效冷却技术的发展迫在眉睫。

(1)

风冷是目前应用最广泛、应用设施最完善的冷却方式，但由于空气低密度、低排热能力的特性，其最大散热能力仅达37 W/cm2[6]，相比于峰值热流密度高达80～200 W/cm2的主流性能刀片式服务器单片CPU[7]，散热能力明显不足。在此背景下，液体冷却技术备受关注。相比于空气冷却，液体冷却技术的冷却能力大幅提升。如3M公司针对数据中心系统的浸没式液体冷却与风冷的性能进行了对比[8]，结果表明，液体冷却条件下的散热热流密度和传热系数明显高于风冷，散热效果更佳且更节能，PUE降至1.02。Bao Kangli等[9]总结了采用风冷、热管及液体冷却散热技术的冷却能力范围，如图1所示。由图1可知采用液体冷却技术的散热方式具有显著优势。

图1 各种散热技术的冷却能力[9]Fig.1 The heat dissipation capacity of some cooling technology[9]

液体冷却技术根据冷却液是否与电子器件直接接触，可分为直接液体冷却和间接液体冷却。其中，直接液体冷却包括液体射流冷却、喷雾冷却和液体浸没冷却等。液体浸没冷却是将电子器件直接浸没在不导电液体中，通过导热、对流及器件表面液体沸腾提供较高的传热系数，降低芯片表面温度，同时由外部制冷系统带走冷却剂中的热量。但其传热系数的相对大小受冷却液种类和对流传热模式的影响，即自然对流、强制对流或两相沸腾。通常根据冷却液有无相变，浸没冷却可分为单相浸没冷却和相变浸没冷却，图2所示为两种浸没冷却方式的冷却机理。相比于传统冷却方式，浸没式液体冷却的优势显著[2,10]：1)节能降耗，相对于传统风冷数据中心能耗降低90%～95%，降低PUE可大幅降低机房的运营成本；2)低噪无污染，无需使用风扇，最大限度减少噪声的污染，同时无需担心空气中的灰尘对高洁净度要求器件的干扰；3)节约空间，利用浸没式液冷的数据中心冷却系统所占的空间体积可减小至风冷系统的1/3；4)换热能力强，能够满足超高热流密度器件的散热需求。

图2 两种浸没冷却方式[11]Fig.2 Two immersion liquid cooling methods[11]

近年来国内外开展了诸多针对浸没式相变冷却系统的研究。B.B.Kanbur等[12]对浸没式相变冷却系统进行了性能评估，研究了在 3.43～9.17 kW间6种不同运行负载下系统的热力学性能和经济性，结果表明，在最高运行负载下可获得最高性能系数COP为6.67，在最低运行负载下可得到最大PUE为1.15，PUE和COP有成反比的趋势。M.S.El-Genk[13]提出利用Cu的高导热率和多孔石墨(PG)增强核态沸腾的优势制成芯片复合散热器，结果表明该复合表面上的最大核态沸腾传热系数hMNB和临界热流密度显著提高，其散热效果远优于同厚度的Cu散热器。C.Woodcock等[14]在器件表面增设微鳍(PPF)结构，内壁上制造凹腔，扩展核沸腾区域，减小核沸腾所需的过热度并增加传热面积，实验测得，在该结构下工质HFE-7000可利用两相沸腾传热带走700 W/cm2的热量。

冷却液是浸没式液体冷却技术非常关键的技术问题之一。不同的冷却液，由于热物性、绝缘性能等性质的差异，适用的液冷技术也不尽相同。用于单相浸没冷却的工质主要有矿物油、硅油、大豆油和一些氟化物；Green Revolution Cooling(GRC)公司使用一种名为Electrosafe的矿物油，工作过程中矿物油不发生相变，传热性能是空气的1 200倍，将单个机组浸没于该工质中能够实现100 kW的散热[15]；M.Matsuoka 等[16]模拟了以硅油、大豆油和两种氟化物(FC-3283和FC-43)为工质的单相浸没冷却系统，模拟系统包含48片发热量为100 W以上的CPU以及384根内存，模拟结果表明这几种工质均能将CPU温度控制在约50 ℃，其中氟化物的冷却效果最好。用于浸没式相变冷却系统的工质主要有电子氟化液(如HFE-7100、Novec 649、FC-72，D-1等)以及一些常用的制冷剂，如3M公司所提供的数据中心设备冷却方案以HFE-7100为工质，可实现单机组250 kW的散热，并且将数据中心的PUE降至1.02[17]；A.Habibi Khalaj 等[18]研究表明，使用电子氟化液的浸没式相变冷却方案散热效果基本优于空气冷却，结合泡沫金属、喷雾、射流等技术可轻松实现100 W/cm2的高热流散热。综上可知，目前关于电子氟化液的散热性能对比研究较少。为了更好地了解这些电子氟化液应用于浸没式相变冷却系统时对其性能的影响，本文将以浸没式相变冷却系统为基础，建立浸没式相变冷却系统性能分析模型，针对目前可用于浸没式冷却系统的4种电子氟化液在同一系统中的散热效果进行对比分析，以期来判断电子氟化液与浸没式相变冷却系统的匹配性能，为其在实际工程中的应用提供理论基础。

1 采用电子氟化液的浸没式相变冷却系统建模

1.1 电子氟化液

相比于空调、热泵中使用的工质，目前可用于浸没式相变冷却的工质种类较少，主要有：FC-72、Novec 649和HFE-7100及D-1，主要物性参数如表1所示。

表1 FC-72、Novec 649、HFE-7100和D-1物性参数Tab.1 Physical parameters of FC-72,Novec 649,HFE-7100 and D-1

1.2 应用电子氟化液的浸没式相变冷却系统性能模拟

本文所计算的液冷系统基本参考3M公司为数据中心服务器散热所提供的液冷方案[8]，发热部件浸没于盛有电子氟化液的密闭箱体中，不同之处是本系统中蒸气冷凝盘管为蛇形管，其模型简图如图3所示。本文所计算的系统中，芯片处发生饱和核态沸腾，液态的电子氟化液吸收热量后转变为气态；气态的电子氟化液上升至蛇形管处，在蛇形管表面发生膜状冷凝，凝结为液体重新滴落至电子氟化液池中，同时热量转移至蛇形管内的冷却水，由冷却水携带至室外。

图3 浸没式相变冷却模拟计算系统Fig.3 The simulation system of immersion phase change cooling

首先讨论芯片处发生的核态沸腾。气泡的生成需要汽化核心和一定的过热度[23]。以下计算中认为芯片表面提供的汽化核心半径R为0.65 μm。发热芯片贴壁处液体过热度最大，为Tw-Ts。根据气泡内外力平衡条件以及克劳修斯-克拉贝龙方程，需要的过热度如式(2)所示：

(2)

式中：Tw为芯片表面的温度，K；Ts为电子氟化液的饱和温度，K；σ为表面张力，N/m；ΔH为蒸发潜热，kJ/kg；ρv和ρl分别为气相和液相的密度，kg/m3。

随着过热度增加，更加狭小的空间能够成为汽化核心，气泡数量增多。当气泡汇聚并覆盖在热源表面，传热开始恶化。这一传热恶化转折点对应的热流密度为临界热流密度(critical heat flux,CHF)。CHF的估算采用J.H.Lienhard等[24]依据Zuber方程的修正公式，如式(3)所示。式(3)中的系数主要与池沸腾的电子氟化液相关，J.H.Lienhard等[24]采用四氯化碳、正戊烷、乙醇等几种有机工质对式(3)进行实验验证，结果表明不同工质的该参数取值均在0.149附近变化，因此本文计算一律取0.149。在计算CHF时要考虑倾角的修正，修正公式如式(4)[25]所示：

(3)

7.794 01×10-6θ2-

1.376 78×10-7θ3

(4)

式中：g为重力加速度，m2/s；θ为发热表面的倾角，本文取90°。

电子氟化液核态沸腾传热表面传热系数计算采用K.Nishikawa等[26]的关联式，如式(5)所示，90°倾角对表面传热系数的影响较小[27]，所以对表面传热系数不作倾角的修正。

(5)

式中：h为沸腾传热表面传热系数，W/(m2·K)；pc为临界压力，MPa；Tc为临界温度，K；M为相对分子质量；p为压力，MPa；q为热流密度，W/m2。

电子氟化液蒸气在水平圆管外表面发生层流膜状凝结，该过程表面传热系数计算如式(6)所示[27]。热量在圆管壁稳态导热过程中，通过整个圆管壁面的热流量Q如式(7)所示[28]：

(6)

(7)

式中：λl为液相导热系数，W/(m·K)；ηl为液相动力黏度，Pa·s；di、do分别为圆管内、外管直径，m；ri、ro分别为圆管内、外管半径，m；Ti、To分别为圆管内、外壁温，K。

冷却水在蛇形管内流动时，层流和湍流下的表面传热系数分别采用Sieder-Tate公式[28]和Gnielinski公式[28]，如式(8)和式(9)所示。按文献[21]推荐使用式(10)对阻力系数f进行计算。此外，式(9)用于蛇形管的弯管处时，还应乘以一个修正系数，如式(11)所示：

(Re<2 300)

(8)

(2 300≤Re<1×106)

(9)

f=(1.82lgRewater-1.64)-2

(10)

(11)

式中：l为管长，m；Re为雷诺数；Pr为普朗特数；f为阻力系数；R为管道的弯曲半径，m；下标“water,i”表示温度等于内壁温时水相应的热力性质。

考虑冷却水在流动过程的压损[29]，可由下面式(12)～式(15)进行计算。式(15)适用于蛇形管弯管处的压损计算。

(12)

(2 300

(13)

(14)

(15)

式中：Δp为压损，MPa；ρ为水的密度，kg/m3；u为水的流速，m/s。

2 性能模拟结果与讨论

在计算之前，先进行如下假设：

1)计算的过程处于稳态工况；

2)电子氟化液池底面尺寸为300 mm×600 mm；

3)芯片尺寸为3.5 mm×3.5 mm，将芯片视为均匀的热源，但最高温度不高于80 ℃，且没有采用任何强化传热的措施；

4)假定蛇形管的材料为铜，蛇形管采用一寸管(外径为25.4 mm)，圆管壁厚为1.2 mm，弯头处的弯曲半径为1.5倍的圆管外径；

5)冷却水密度恒为998 kg/m3，比热容恒为4.183 kJ/(kg·K)。

2.1 不同压力下的热流密度适用范围

由于电子氟化液的挥发性较强，一般需要完备的密封措施，避免大量的电子氟化液蒸气外逸。因此，假定装有电子氟化液的箱体内能够保持一定的压力，且忽略芯片浸没深度对芯片处压力的影响。不同压力下本文所讨论的各种电子氟化液热流密度适用范围如图4所示。计算过程中大部分的物性数据如表1所示。

图4中各电子氟化液适用范围的下限由最大成核半径(即上文提及的R=0.65 μm值)对应的最小过热度所确定，该过热度条件下的热流密度为适用范围的下限。由图4可知，下限值随着压力的增大而缓慢下降。上限的确定分为两部分，随压力增加缓慢上升部分由对应压力下的临界热流密度所确定，上限值即为临界热流密度，是该压力下池沸腾传热所能实现的最大散热热流密度；随压力增大急剧下降部分则由芯片的最高允许温度所确定，此处上限值并不是池沸腾传热的临界热流密度，临界热流密度要高于此上限值，但是临界热流密度的实现需要较大的过热度，使芯片温度高于设定的最高值80 ℃，因此该处上限值是芯片温度为80 ℃时对应的热流密度值。

由图4还可知，4种电子氟化液中，FC-72、Novec 649和HFE-7100的上限值拐点分别出现在150、200、135 kPa的压力条件下，相比之下，D-1的压力应用范围最广，压力达到约215 kPa，实现临界热流密度时芯片温度才会高于80 ℃。同时，相同压力下D-1适用范围的下限值要低于其余三种电子氟化液，这也表明池沸腾在 D-1 中启动所需的热流密度最小，可应用于低热流密度的散热条件。此外，相同压力下，4种电子氟化液能够实现的最大散热热流密度从高至低排序分别为HFE-7100、FC-72、D-1 和Novec 649。综上可知，D-1适用压力范围最广，启动所需的热流密度最小，最大散热能力较好，是一种综合性能较强的电子氟化液，可在浸没式相变冷却中替换现有的Novec 649。

需说明的是，箱体内压力并非始终保持恒定，且芯片浸没深度对芯片处压力也会有所影响(本次计算中忽略了该因素)，一定压力下浸没深度的影响同样可参考图4的计算结果。氟化液适用的压力范围广，也就表明能将发热元件浸没在更深处而不会对散热能力产生影响，所以在竖直方向上能够设置更多的发热元件，有利于服务器设备的集成，节约用地空间。

图4 各氟化液不同压力下的热流密度适用范围Fig.4 The applicable range of heat flux of each fluoride liquid under different pressure conditions

2.2 不同冷却水流速对散热能力的影响

假定模型箱体内压力为100 kPa，冷却水进温为298.15 K，当蛇形管处于各种电子氟化液蒸气环境中，冷却水在稳态工况所能携带的热量随冷却水流速变化情况如图5所示。由图5可知，随着流速的增大，蛇形管处于FC-72、Novec 649、HFE-7100和D-1这4种电子氟化液蒸气环境中时，冷却水所能携带的热量基本分别稳定于4 450、3 200、4 700、3 300 W，可知在相同压力下，D-1 膜状冷凝换热的表现与Novec 649相仿，但远不如FC-72和HFE-7100。然而，如2.1小节所述，D-1具有最广泛的适用范围，换热量的差距可通过适量提高箱体内压力进行弥补，从而使蛇管在D-1蒸气环境中的最大换热能力接近FC-72和HFE-7100。为了验证此弥补方法的可行性，不同压力下冷却水稳态所能携带的热量随冷却水流速变化如图6所示。由图6可知，当装有D-1的箱体内压力升至160 kPa时，D-1的膜状冷凝换热性能与100 kPa下的HFE-7100相当；此外，提高箱体内压力能够有效避免外部空气和水蒸气的进入，防止恶化冷凝传热。

图5 不同冷却水流速下的散热量Fig.5 The heat dissipation under different flow velocity conditions

图6 不同压力对散热量的影响Fig.6 The heat dissipation under different pressure conditions

由于冷却水在蛇管内流动过程中，存在与管壁的摩擦、流体间的黏度、流动中的惯性、流态的变化等因素，使得流动时受到阻力而产生压降损失。不同冷却水流速下蛇形管内的压降如图7所示。由图7可知，随着冷却水流速的增大，蛇形管内的压降逐渐增大，且压降变化逐渐明显；但在不同的电子氟化液蒸气环境中，管内冷却水的压降变化曲线基本重合，这是由于蛇形管内流动压降根据通用的压降计算公式(式(12)～式(15))计算所得，该压降公式只与管内冷却水本身的特性和流速有关，而与管外电子氟化液的换热情况无关。

图7 不同冷却水流速下蛇形管内的压降Fig.7 The pressure drop in serpentine tube under different pressure conditions

2.3 不同冷却水进口温度对散热能力的影响

提高冷却水温度能够提高冷却水中能量的品位，有利于能源的再利用，而降低冷却水进口温度有利于增大传热温差，强化换热效果。假定箱体内压力为100 kPa，蛇形管内冷却水流速为0.6 m/s时，不同进温条件下，冷却水流过整段蛇形管后的温升如图8所示。由图8可知，4种工质的总体变化趋势相似，随着进口温度的增大，冷却水的出口温升逐渐减小，但使用 FC-72 和HFE-7100时，冷却水出口温度能够达到约330 K，能量的品位显著提升，而使用Novec 649和D-1，冷却水最大出口温度约320 K，同时系统散热能力下降。

图8 不同进口温度下冷却水的出口温升Fig.8 The temperature rise of cooling water under different inlet temperature conditions

图9所示为不同进口温度条件下，冷却水所能携带的热量。由图9可知，随着冷却水进口温度的提高，冷却水的散热能力迅速降至几百瓦，该数值一般不能满足芯片散热的需求，因此在实际设计过程中要在散热能力和能量回收中进行权衡。此外，较低的进水温度能够得到较大的散热量，但出水温度可能只有十几摄氏度，大量冷量被浪费，所以在实际设计过程可考虑冷却水管道在多个机组中串联，以提高冷量的利用率。

图9 不同进口温度下冷却水的散热能力Fig.9 The heat dissipation capacity of cooling water under different inlet temperature conditions

2.4 模拟结果与实验结果对比分析

为了验证上述模拟结果可靠性，本文选择了与本文模拟系统具有一定的相似度的来自B.B.Kanbur等[12]的实验结果。B.B.Kanbur等[12]针对浸没式相变冷却系统在3.43～9.17 kW范围内6种不同运行负载下，进行了冷凝螺旋管内的冷却水的进出口温度、焓值及熵值等参数的实验研究。由于该实验系统采用螺旋管作为冷凝管，与本文模拟选用的蛇形冷凝管不同，冷凝管进出口的压降变化不便验证，因而此处主要验证在HFE-7100工质环境下，冷却水所能携带的热量。

以文献中9.17 kW工况下的系统运行结果为例。冷却水体积流量为5 m3/h(由于文献中并未列出冷凝管径，而选择常见冷凝管径计算后得冷却水流速约为3 m/s)，运行稳定后冷凝管进出口平均水温分别为303.65 K和304.39 K，可得冷却水流量及其所携带的热量：

=1.389 kg/s

(16)

=4 317 W

(17)

对照本文模拟结果，在实验冷却水流速为3 m/s时，冷却水所能携带的热量为4 317 W与模拟结果的4 700 W稍有差异，但由于实验过程中存在一定的漏热及测量误差(通常为5%～10%)，因此可视为模拟结果与实验结果接近，具有一定的可靠性。

3 结论

由于使用氟化物以及制冷剂的浸没式相变冷却方案散热可较容易实现100 W/cm2的高热流散热，因此，在空气冷却散热能力不足，已无法满足服务器工作条件的背景下，选择合适的电子氟化液用于浸没式相变冷却系统对于数据中心的散热研究意义重大。针对已经开始应用的或具有潜力的4种电子氟化液(FC-72、Novec 649、HFE-7100和D-1)在浸没式相变冷却系统中应用时的性能，本文建立了浸没式相变冷却系统数值模型，采用4种电子氟化液对浸没式相变冷却系统性能进行了详细分析，得到如下结论：

1)D-1适用压力范围最广，启动所需的热流密度最小，但最大散热能力弱于FC-72 和HFE-7100，与Novec 649接近，可在浸没式相变冷却中替换现有的电子氟化液Novec 649。

2)随着流速的增大，蛇形管处于FC-72、Novec 649、HFE-7100和D-1这4种电子氟化液蒸气环境中时，冷却水所能携带的热量最终基本趋于一个稳定值。管内冷却水在FC-72和HFE-7100蒸气环境中所能带走的热量最多；D-1具有广泛的工作压力范围，因此可通过适量提高工作压力弥补散热能力的不足。

3)不同电子氟化液对管内冷却水压降的影响基本相同。

4)提高冷却水的进口温度能够提升出口冷却水的能量品位，有利于能源回收利用，但散热能力会随之下降，降低进口温度虽能提升散热能力，但可能会出现冷量利用效率较低的问题。因此实际设计过程要在散热能力和能量回收中进行权衡，并且可考虑冷却水管道在多个机组中串联，提高冷量的利用率。