乔栋

（中国移动通信集团内蒙古有限公司，呼和浩特 010020）

1 课题研究的背景与意义

随着电信业务的快速发展，电信运营商的支撑系统建设也如火如荼。系统建设需要购买很多小型机、磁盘阵列、交换机等设备，这些设备对温度要求较高。随着系统的建设和不断扩容，设备的密度不断增加，机房原有的冷却系统已不能满足要求，数据中心局部过热问题日益突出。在数据中心的电力能耗中，IT设备、机房制冷和电源设备分别为5：4：1的关系，即服务器、存储、交换机的电力消耗占总能源消耗的50%，而机房制冷电力消耗占40%，UPS等电源设备耗电占10%。另一方面，中国移动通信集团公司提出绿色环保的要求，要求加强对数据中心的管理，提倡节能减排，实现减本增效。通过对现有数据中心和新建数据中心进行绿色节能的设计，采用一些有效的节能措施，有望达到30～40%的节能目标，大大减少电力资源浪费，同时提高制冷效率，确保系统稳定高效运行。

本课题针对普遍存在的数据中心高热密度机房局部过热与节能减排问题进行研究，并通过实践来探索这一困扰数据中心健康发展的难题。结合现有节能减排技术，针对运营商数据中心特点，提出精确分配冷量、定点送风、合理组织气流等解决方案。通过该方案的实践，有效隔离冷热通道，气流组织更为合理；送风量和制冷量都可以按照机柜的实际需要分配，能够将冷能精确分配到需要的网络设备上，提高冷量使用效率，降低空调能耗，达到绿色环保，节能减排的目的。同时提高运营商的IT运维水平，以支撑业务的快速增长。

2 数据中心节能减排技术

机房节能减排总体方向是通过机房环境的电力节能与减排，其重点是通过精确送风、全视角监控管理等进行电能的调整，以达到节能减排的目的。因此从机房环境节能减排技术的角度探讨，目前主流的节能减排技术主要可包括以下几个方面。

2.1 智能的动态精确制冷技术

基于机柜级别散热的智能冷却系统。根据各个机柜排风温度的变化，动态调节每个风口的送风量，满足服务器机柜不同的散热需求，避免局部温度过高。通过采用精确制冷技术，根据数据中心现场的实际温度变化，可控制空调的送风或回风温度设定点，从而提高空调设备的效率，有效的节约电能，达到节能减排的目的。

图1 未优化前数据中心热成像图

图1显示的是未优化前的数据中心热成像图，由上图可见热回风通道已经显示足够高的温度，而冷送风通道的温度也很高，这时就需要对相应的设备布局、空调温度等进行相应调整，使整体数据中心散热效果达到图2中所示的状态，同时有效的节约电能。

图2 调整后的数据中心热成像图

2.2 自动温控技术

经过基于独立机柜的温度传感器，智能温度控制系统可以采集到机柜的实时温度。这样就可以通过控制空调和智能通风地板的开启度来调节冷风的出风量来对温度过高的机柜实行冷却。当达到冷却效果后，系统会自动恢复原始的节能设置。通过对机柜温度实施掌控，使冷却与制冷能更好的根据数据中心现场的实际需要进行送风与制冷，以达到节约电能、节能减排的目的。

图3 自动温控技术

2.3 精确送风技术

针对机房下送风方式，通过精密空调调整送风的温度和风压，在每个机柜安装控制单元，通过温度探测系统来控制智能通风地板，调整单个机柜的送风量，达到彻底解决机房过热和降低空调能耗的问题。整个精确送风系统主要由两个部分组成，智能通风地板与机柜级控制单元（温度探测、逻辑控制系统）。

2.3.1 智能通风地板

目前绝大部分设备采用前进冷风、后排热风的散热方式，机柜基本上是前后全通风网孔门设计，智能通风地板安装在每个设备机柜的正面网孔门前部，送风器采用铝合金定制成型，通过自动控制器进行逻辑控制通风地板的开度，以调整通风地板总送风量，满足不同机柜的散热风量需求。

根据机房设备机柜的发热情况，可以根据实际情况定制不同规格的智能通风地板。按照设备厂家的要求和国外设计参考，设计智能通风地板最大通孔率约为50%，送风风速约为2～3m/s，设计风量约为1500m3/h。风阀通过微电脑控制器的指令调节出风比例和出风速度，可以提供普通地板3倍的出风量。

2.3.2 机柜控制单元

基于机柜级别，在服务器机柜上部安装机柜控制单元，通过后部多点温度传感器，实时检测及收集机柜后部的排风温度数据。并通过前端控制器实现对智能通风地板的实时控制，根据各个机柜后部排风温度的变化，动态调节每个通风地板的送风量，满足服务器机柜不同的散热需求，可以解决最高单个机柜5～8kW的散热需求，避免局部温度过高。如图4所示。

图4 机柜控制单元

同时，通过总线通信，并利用中央控制管理软件，可以实现图形、界面化的状态监控，并可实现数据分析管理功能。

2.4 数据中心动环系统的监、管、控技术

全视角机房智能基础设施监、管、控，采用多进程、多线程等先进的软件技术，能够以极快的速度（最快达50ms）扫描各个端口所连接的设备，实时读取设备的运行参数，对设备的异常参数及时产生报警。通过采取动环设备的监、管、控技术，不仅可以实时读取设备运行参数，对发生的故障等异常进行报警，而且最重要的是通过实时、历史数据的分析可以对动环的设置参数、环境参数等进行动态的调整，是冷却、制冷等更好的符合数据中心基础设施的实际要求，能有效节约电能，达到节能减排的目的。

系统架构采用集散设计，基于机柜级别的机柜控制器，对机柜送风状态及温度进行监控。可以实现对单位机柜温度、制冷量的规划管理，并对机柜的环境进行实时检测，避免不必要的供电和制冷量的产生。比如用户可以通过该软件实时了解单位机柜温度大小的变化，依据合理的自动控制原理，来调节机柜前出风量的大小。从而达到对机房环境的实时监控，精确了解机房的温度、湿度、风压等参数，了解空调的运行状态。数据中心中央管理系统图如图5所示。

目前一般数据中心动环管理系统功能主要包括现场数据采集功能、历史数据的计算和图表展示、实时数据展示、实时的各传感器收集的温度数据展示、实时设备运行状况展示、实时温度分布图形展示等，其具体内容介绍如下。

2.4.1 实时图像展现功能

可以对数据中心现场温度、机柜温度监控等进行实时的机房温度监控。并对出现的各种异常情况进行警告报警。

2.4.2 实时数据展现

动环监控管理系统主要对监控的机房控制设备（机柜送风控制、空调送风控制展示），在数据展示区进行二维机房模型图，数据罗列的展示，可对如下数据进行系统、直观的展示。

（1）机柜出风温度，阀门开启度；

图5 数据中心动环管理系统

（2）静压箱内温/湿度，静压箱压力；

（3）空调机回风温度湿度，空调压缩机运行状态。

2.4.3 监控数据管理

以固定间隔（可设定）时间，从BS控制器端获取数据文件，并解析、读取数据、将数据保存至监控端数据库中。其采集数据项包括机柜后部出风温度与机柜前智能通风地板电动阀门开启度。其中对送风系统数据与精密数据进行相应的数据管理。其中送风系统数据包括静压箱送风温度、湿度与静压箱压力。精密数据包括精密空调运行状态与精密空调回风温湿度设置。

2.4.4 数据查询统计

动环监控系统可以依据选取设备、时间段，以二维表格形式罗列该设备在所选时间内的参数表格，并可选中某一项数据，生成历史曲线图。通过对历史数据的统计与分析，可以依据其进行配置参数等的动态调整。

2.4.5 集中远程管理

控制与管理平台可以分开部署，管理平台接入现有的监控室。实现无人职守机房。多个机房可以级联，通过远程监控集中管理。

3 应用案例

3.1 综述

中国移动通信集团内蒙古有限公司（以下简称内蒙移动）绿色机房项目是为了贯彻集团的节能减排精神，在本年度设立的重点改造项目之一。项目内容包括对内蒙移动一枢纽10层东/西区上送风机房进行翻建改造。再造的宗旨是达到节能减排并快速收回改造成本。此项目将原有的空调上送风，自然冷却式机房改造成智能精确下送风机房。

经过改造机房的功率密度提高到原同面积机房的300%，总能耗减低到原有的66.7%。PUE（能源使用效率是评价数据中心能源效率的指标值）由改造前的2.6降低到1.82。提高机房的可用性，达到国际先进的Tire III标准。

3.2 技术应用

在“满足现在、适应未来”的总体建设策略上，内蒙移动的数据中心建设坚持先进性、高可靠性、高安全性、可持续发展性、易管理维护性、开放性、实用性和舒适性原则。

(1)可靠性原则。数据中心设计具有高可靠性，保证为用户提供连续不间断的7×24h服务；在设计和建设时减少单点故障的存在，对可能存在单点故障的环节在设计上要尽可能减少其对整个系统的影响。由市电到机柜及服务器的整个供电系统可用性不少于99.99%；机房各系统都具有足够的备份能力，以保证机房具有较高的可靠性；

(2)高效性和节能的原则。数据中心设计及建设采用切实有效的措施或技术来充分体现节能、环保、减排的要求，建设绿色的数据中心。本机房设计PUE值小于2.0；

(3)布局最优性原则。合理的系统容量规划，符合未来运维流程规范的平面规划。在平面规划中，不但要考虑到系统的整体容量与设备布局，还要考虑到机房日常操作运维的管理需要，把整个数据中心建设成既实用规范、又美观先进，符合未来5年发展规划的数据中心；

(4)灵活性及可扩展性原则。各系统应具有可持续发展的能力，在系统设计上具有较大的灵活性。本机房建设设备要求“逐步升级”，系统要求“一步到位”，在设计时应考虑部分设备分期实施，统一规划考虑扩充设备，确保日后可以方便增容；

(5)整体性原则。数据中心所有系统的设计要根据业务发展需要与设备使用要求进行整体规划，统筹考虑，保证整体可用性；

(6)先进性原则。系统设计立足于高起点，采用国际先进、成熟、实用的技术，构建合理并适当超前的技术体系架构，用以确保长时间的技术领先。各系统通过集成，实现资源和信息共享，增强对机房的运营管理能力，提高设备利用率，降低能耗，实现现代化科学的机房管理。系统配置采用模块化、开放式结构，以适应系统灵活组织、扩展和系统集成整体提升的需要；

(7)安全性原则。具有完整的安全策略和切实可靠的安全手段保障数据中心运行系统基础环境的安全。在防火、防水、防虫、防鼠、防盗、接地、防雷、防电磁干扰、降噪等方面采取有效措施；在考虑地面承重能力时，采取相应的技术措施；

(8)可管理性原则。各系统应具有较强的集中式管理加分布式实施的可管理性逻辑，并且为分布式实施调整提供清晰的管理逻辑；

(9)实用性经济性原则。数据中心机房系统的空间可用性强。设备布局分配合理，功能区划分清晰易管理。在满足应用要求的基础上，尽可能降低造价，创造最大投资收益；

(10)可持续发展原则。各系统设计及产品选型都应具有超前性和扩充性，系统实施方案具有可扩展性。如配电开关及配电柜在设计上要预留足够开关容量；对隐蔽性工程要有足够的前瞻性，为了保证较长时间内的系统扩容、变更、升级等可能性而预留相应预埋管线和接口等。

3.2.1 采取架空地板，下送风冷却方式

在内蒙移动数据中心的本期建设中，对于数据中心所有设备摆放区域采用了架空地板方式。防静电地板架空高度为40cm。整个数据中心地板下形成一个很大的静压箱。地板下还制作了20mm的保温层，以提高制冷效率。经过空调机组处理过的低温空气，从空调机底部送至机房的架空地板内，利用架空地板形成的静压箱，输送到冷通道上布置的地板送风口，通过架空地板上的送风口进入机房和工艺机柜内，带走工艺设备散热，高温空气再从机房上部空间回到空调机组进行冷却处理。

下送风方式的地板送风口设置在冷通道上，空调的回风口和热通道对齐，以便热空气回流。由于冷热空气通道有效隔离，完全符合“先冷设备、后冷环境”的原则，所以下送风方式冷却效率较高，能有效解决机房局部过热问题，并有效的节约了电能，达到节能减排的目的。

3.2.2 智能的动态精确制冷技术

在内蒙移动数据中心本次建设中，采用了智能的动态精确制冷技术，使用该技术能够做到对数据中心机柜级别的按需制冷。并且大大节省运维人员的工作量。当机房出现局部过热的时候无需维护人员调整通风地板位置和通风量，系统会根据实际的需求动态地，线性地调整通风量。让维护人员从繁重的现场工作中解脱出来。基于机柜级别散热的智能冷却系统。根据各个机柜排风温度的变化，动态调节每个风口的送风量，满足服务器机柜不同的散热需求，避免局部温度过高。同时根据现场的实际温度变化，可控制空调的送风或回风温度设定点，从而提高空调设备的效率。

3.2.3 自动温控技术

在内蒙移动数据中心本次建设中，采用经过基于独立机柜的温度传感器，智能温度控制系统可以采集到机柜的实时温度。在机柜出风位置埋置了4个高精度温度传感器。对机柜的出风温度进行实时采集。通过监控系统取该机柜最高的出风温度值并且计算出该机柜所需要的制冷量。这样就可以通过控制空调和智能通风地板的开启度来调节冷风的出风量来对温度过高的机柜实行冷却。当达到冷却效果后，系统会自动恢复原始的节能设置。

3.2.4 精确送风技术

在内蒙移动数据中心本次建设中，采用针对机房下送风方式，通过控制精密空调变频电机来调整送风的温度和风压，在每个机柜安装控制单元，通过温度探测系统来控制智能通风地板，调整单个机柜的送风量，达到彻底解决机房过热和降低空调能耗的问题。基于机柜级别，在服务器机柜上部安装机柜控制单元，通过后部多点温度传感器，实时检测及收集机柜后部的排风温度数据。并通过前端控制器实现对智能通风地板的实时控制，根据各个机柜后部排风温度的变化，动态调节每个通风地板的送风量，满足服务器机柜不同的散热需求，可以解决最高单个机柜5～8kW的散热需求，避免局部温度过高。

3.2.5 全视角的机房基础设施的监、管、控技术

在内蒙移动数据中心本次建设中，采用多进程、多线程等先进的软件技术，能够以极快的速度（最快达50ms）扫描各个端口所连接的设备，实时读取设备的运行参数，对设备的异常参数及时产生报警。系统架构采用集散设计，基于机柜级别的机柜控制器，对机柜送风状态及温度进行监控。可以实现对单位机柜温度、制冷量的规划管理，并对机柜的环境进行实时检测，避免不必要的供电和制冷量的产生。比如用户可以通过该软件实时了解单位机柜温度大小的变化，依据合理的自动控制原理，来调节机柜前出风量的大小。从而达到对机房环境的实时监控，精确了解机房的温度、湿度、风压等参数，了解空调的运行状态。

3.3 效果与启示

在内蒙移动绿色数据中心试运行了一段时间后，在节能减排，提高维护效率上都取得了一定的成果。该绿色数据中心的PUE值从原有的2.6减低到现在的1.82。从节电角度来看，每年的电费会节省1042440元。相当于减少二氧化碳排放816959m3。从建筑成本来看，按照数据中心的平均每平米建设成本（按原有机房基础配套工程如配电，装修，电缆，KVM，布线等）为10000元来算。仅仅提高3倍的使用率一项就能节约18000000元成本，机房的可用性提高到99.98%达到国际先进的Tire III标准。

在电信运营商的日常运营中，数据中心是耗能大户，企业的节能减排工作很大程度上依赖于数据中心的节能减排。内蒙移动公司绿色数据中心的建设是响应国家和集团公司节能减排号召的具体举措，机房节能技术的实践和推广将为加快资源节约型、环境友好型社会建设作出贡献。