郭涛

采用间接混合冷却方式的液冷服务器曙光TC4600-LP，将液冷与风冷方式有机地结合一起，降低了液冷服务器的使用门槛，在为数据中心用户提高效能的同时，还节约了成本。

大到数据中心机房，小到一台服务器，大多数都采用风冷的制冷方式。但是众所周知，风冷的一个致命缺陷是冷却系统能耗高，因为空气与液态冷媒相比，输送功率大、传热温差大、风扇功耗大。中科曙光数据中心产品事业部总经理沈卫东举例说，采用风冷服务器、机房空调机的数据中心，在不考虑UPS系统的情况下，其PUE指标也不可能低于1.4，而采用液冷服务器、自然冷却冷站的数据中心，PUE值可以轻松降低到1.2以下。

在2014年6月举行的ISC14国际超级计算大会上，曙光发布了国内首款全浸泡式液冷服务器PHPC300，当时就有参观者提出想购买。但是，全浸泡式液冷服务器目前仍处在完善之中，距商用还有一段距离。看到用户对液冷服务器的强烈需求，曙光在今年8月又发布了间接混合冷却式方式的液冷服务器TC4600-LP，它将液冷与风冷方式有机地结合一起，已经实现了批量发货。TC4600-LP服务器的出现降低了液冷服务器的使用门槛，在为数据中心用户提高效能的同时，还节约了成本。

液冷与风冷的有机组合

沈卫东介绍说，曙光TC4600-LP服务器采用“液冷+风冷”的冷却方式，其中液冷部分采用间接式冷却技术。所谓间接式冷却，即冷媒与发热元件被导热材料分离，不直接接触，而是通过液冷板、液冷头等高效热传导部件将被冷却对象的热量传递到冷媒中。采用间接冷却的液冷散热系统，对计算机系统改动不大，仅需将原风冷散热片替换为液冷散热片（液冷头），并将冷媒管路引出机箱即可。在间接冷却方式中，冷媒有自身的通路，并不与电子器件直接接触，只要求液体管路密封性好，冷媒不泄漏即可。

曙光TC4600-LP服务器是一个系统，由1个CRU（冷却柜）和两个服务器机柜共同组成一个最小的冷却单元。液冷与风冷两套系统组合起来为服务器提供散热。CRU机柜内部包括CDM（液冷）模块及CIM（风冷）模块。每个TC4600-LP服务器机箱设计的发热量为4kW， 其中液冷系统2.7kW，风冷系统1.3kW。单个CDM制冷量为10.8kW，负责左右两个机柜内部4个HCPU的制冷。CRU机柜内部共有3个CDM模块。

间接冷却式液冷系统能直接将高温热源CPU和内存上的散热量通过室内侧制冷系统进行循环，同时利用列头制冷模块的高效换热与室外热源进行热交换。CRU机柜内置的每一个CDM模块可帮助4箱的TC4600刀片服务器进行热量交换（左右各两箱）。室内制冷系统内的冷媒在CDM内循环泵处获取动力，通过管路系统输配到左右机柜内部4个HCPU处，再利用HCPU将液体输送给主板上配置的冷头。冷媒在液冷头内部吸热后，温度升高，高温冷媒流经HCPU进入CDM内的换热器与室外冷源进行热交换，又重新变为的低温冷媒，再进入储液罐内准备供给循环泵，进行下一循环。通过液冷方式，CPU表面的温度会快速下降，CPU的效率和可靠性都能得到进一步提高。

液冷方式采用的冷媒通常包括三种：油、水和蒸发冷媒。TC4600-LP服务器采用的是水。有人可能会担心，采用液冷方式，万一发生漏液怎么办？“漏液问题是实现液冷必须突破的技术难关。曙光拥有一些技术专利，可以通过负压模式可以解决漏液问题。”沈卫东介绍说。

TC4600-LP服务器采用的是非全浸泡液冷方式，也称混合式制冷方式，因为液体制冷只能带走三分之二的设备发热量，而主板的发热量仍然要依靠风冷方式带走。“从这个角度讲，混合式液冷并不是彻底的液冷技术革命。但是，混合式有它的一个优点，就是只要对原有的风冷服务器稍加改进，附加一个液冷模块即可，很容易实现市场化。因此，今年，我们首推的还是这种混合式制冷的服务器。”沈卫东解释说。

一些国外的服务器厂商也拥有液冷服务器。沈卫东表示：“我们现在的研发方向与国际趋势是一致的。目前市场上应用比较成熟的也是间接式制冷方式，全浸泡式液冷方式还有一些技术难点需要突破。以前，只有一些特殊定制的大型项目才会用到液冷方式。但我们认为，随着间接式制冷方式的技术逐步成熟和成本不断下降，在服务器甚至工作站上使用液冷方式的条件已经具备。”曙光公司从2012年开始研究新的节能技术。将液冷基础设施与服务器完美融合的曙光TC4600-LP是比较适合大规模应用的采用新型制冷方式的服务器。

目前，在全球范围内，研究全浸泡式液冷服务器的厂商屈指可数。全浸泡式液冷服务器还没有做到商品化，仍有许多技术难题要解决，包括排放液、密封、液体的储存和添加等。沈卫东介绍说，曙光在全浸泡式液冷服务器方面已经有了一些技术储备，但是距产品上市可能还有一年时间。不过，在今年底，曙光会先发布一款全液冷的工作站产品。

不会增加成本

为了提高计算密度，许多用户愿意采用刀片式服务器。但实际上，很少有用户的机柜是满配的，因为刀片服务器的散热是一个瓶颈。采用液冷服务器，在提高制冷效率、降低能耗的同时，是否也能大幅提升机柜的设备密度呢？

曙光TC4600-LP的一个模块由5U高的刀片服务器机箱和1U高的HCDU水平分液单元组成，在一个标准的42U机柜内，只能放7个模块，而采用风冷方式的刀片机箱可以放置8个。单纯从数量上看，风冷服务器超过了液冷服务器。但是如前所述，风冷服务器的机柜很难满配。“目前，采用间接式液冷的曙光TC4600-LP服务器与风冷服务器的密度差不多。但是如果以后我们针对液冷方式对刀片服务器进行优化设计，那么密度还可以进一步提高。”沈卫东解释说。

在推出TC4600-LP液冷服务器的同时，曙光还提供了一个配套的GreenLC解决方案。沈卫东表示，液冷服务器需要一个与之相配合的特殊的数据中心基础设施。GreenLC是与TC4600-LP服务器相配套的液冷系统和配电监控机柜系统。相对于风冷服务器，液冷服务器的初次采购成本会略有增加，但在整体拥有成本上，液冷服务器还是具有明显优势的。

“TC4600-LP液冷服务器是一个自封闭、带负压、能主动报警的智能化系统，平时几乎不需要维护。”曙光高性能产品总监戴荣博士补充说，“风冷服务器必须配套具有更大功率的空调系统，这增加了风冷服务器的运营成本。TC4600-LP配合GreenLC基础设施整体方案，可为一个500kW的中型数据中心每年节省150万元的电费支出。在设备投资方面，与风冷版的TC4600服务器相比，虽然液冷版的TC4600的采购费用有所提高，但配套的冷却系统的成本有所下降，所以整个数据中心的设备采购成本基本不变。”

高性能计算是突破口

曙光TC4600-LP液冷服务器已经有了用户，主要集中在高性能计算、电信和互联网行业。戴荣介绍说：“一些采用高性能计算的用户通常会定制自己的刀片服务器系统。这些用户会尝试性地选择液冷服务器，看看液冷服务器是否真的可以降低整体运营成本。液冷服务器更适合部署在大规模的数据中心里。”

曙光TC4600-LP针对的就是大型数据中心用户。曙光TC4600-LP本身具有良好的可扩展性，目前一套设备包括10个结点，未来可以扩展到100个甚至1000个结点。一个数据中心用户拥有的服务器规模如果达到上万台，它就会特别关注制冷的问题。戴荣表示：“采用液冷服务器，用户大约一年左右能收回前期的投资。高性能计算行业的用户对间接式液冷服务器比较感兴趣，而互联网企业的数据中心在使用液冷服务器方面还有一个教育和熟悉的过程。”

戴荣表示，未来，曙光会继续推出采用间接式制冷方式的小型化的产品。