The Construction and Development of Micro Module Data Center

闫伟

YAN Wei

（江苏省邮电规划设计院有限责任公司）



浅谈微模块数据中心的建设与发展

The Construction and Development of Micro Module Data Center

闫伟

YAN Wei

（江苏省邮电规划设计院有限责任公司）

1 微模块数据中心概念

微模块数据中心系统是集成化、产品化、模块化、标准化的机柜系统，它是将传统机房的机架、空调、消防、布线、配电、监控、照明等系统集成为一体化的综合产品方案，具有快速、灵活、简便、可预测等明显优点。它是以若干机架为基本单位，包含制冷模块、供配电模块、后备电源以及网络、布线、监控、消防等系统在内的独立的运行单元。该模块全部组件可在工厂预制，并可方便拆卸，快速组装，以实现系统的快速、灵活部署，这不仅可以大幅降低建设成本，而且能够大幅缩短数据中心的建设周期。如图1所示。

1.1 传统机房存在的问题

传统机房建设由于技术的限制，以及以前对于机房管理需求的不同，存在以下诸多问题。

图1　微模块数据中心结构示意

1) 投入大，见效慢，可扩展性差

传统数据中心基础设施设计容量一步到位而IT负荷逐年增加，一次性投入巨大，大量投入多年不能产生效益；更为重要的是可扩展性差。

2) 建设与业务脱节

数据中心建设周期长，跟不上业务发展速度，机房建设时间少则半年，多则2年。

3) 能耗高

机房能耗大，能源利用效率低；房间级制冷，大量无效空间浪费了冷量；冷流短路，降低了制冷效率；国内大部分数据中心的PUE值在2.6以上。

4) 机房利用率低

单位建筑面积承载的计算能力有限，基础建设投入利用率不高；机柜功率容量低，无法放置高密度服务器；传统数据中心单机柜功率不到2kW。

5) 资产管理难

数以万计的IT资产盘点困难，更不清楚什么设备在什么位置；资产人工盘点，开销大、效率低、易出错。

6) IT设备空转

经过一段时间运行的传统数据中心存在大量幽灵（空转）服务器，数量可达15%以上。浪费能源，浪费机房容量。

7) 设备部署或变更的烦恼、设计容量浪费

一次规模部署或变更，事前花大量人力确定方案；什么设备放在什么位置，空间、电源、冷量、网口够吗？如果不小心错误部署或变更，则会引发事故；非智能设备部署导致设计容量浪费。

1.2 微模块机房与传统机房对比的优势

1）快速

模块化结构可以大大减少与设计、安装、调试有关的时间，进而更快地部署数据中心，总体来说可以缩短整体部署时间的50%（见表1）。

表1　部署时间对比

2）灵活

模块化结构使得客户可以在很短的时间内选择不同的基础设施组合，把它们放置在普通房间内，就构建成了数据中心。另外，我们还可以利用模块化方式对现有数据中心非常容易地进行改造、扩容，且可以节省大量的初期投资成本（分期部署时）。部署的灵活性对比如表2所示。

表2　部署的灵活性对比

3）简单

模块化结构在工厂经过预设计和调试，在现场可以简单地部署，所需要的建设规模和复杂程度是最小的，设计时预留了供配电接口、制冷接口、网络接口等，因此可以做到即插即用。这种预生产、标准化、外观的统一性便于客户非常简便地采购、部署和调试（见表3）。

表3　部署的简便性对比

4）可预测

模块化结构可以强化数据中心建设的可预测性，大大降低了数据中心建设中的风险。由于模块化结构是预设计、预测试、预安装的系统，预先要经过工厂验证，预先调试到其最佳性能，因此具有很好的质量保障，而且交付期也非常短，一般为7～8周（见表4）。

表4　部署的可预测性对比

5）节能

两种部署方式的节能效果如表5所示。

表5　节能效果对比

微模块机房相对于传统的机房具有的优势和特点如表6所示。

表6　两种机房的优劣对比

2 微模块中心机房的建设

2.1 微模块整体组成

该微模块由底座、服务器机柜、电源柜、电池柜、列间空调、天窗、顶部线槽和端门等部件组成。从系统来看，可划分为结构系统、供配电系统、制冷系统、消防系统、监控系统、综合布线系统等子系统。结构系统采用双排机柜冷通道密封形式，提供1.2m宽的冷通道空间；采用若干定制机柜，单机柜提供42U安装空间，可分别提供3kW功率支持。供配电系统采用双路市电输入方案。对于服务器机柜内的IT负载，提供双UPS电源供电。制冷系统采用列间精密空调，靠近机柜设备进行制冷。消防系统主要由烟感、天窗磁力锁和消防门禁控制箱等组成，需要依赖于数据中心机房内已有的消防系统完成消防灭火动作。综合布线系统采用机柜上走线，实现强弱电分离；监控系统实现动环监控、动态能耗显示、资产自动检测、实时容量检测等多种功能，并与上层云管理服务系统智能联动。同时提供门禁、红外入侵、视频监控、水浸、机柜门磁、声光报警、烟感等全面保护。

2.2 微模块电气系统

2.2.1 配电系统

为了保证微模块的高可用性，配电系统采用双路市电输入方案，经ATS自动切换后到UPS，再经过UPS后到IT机柜；另外引一路市电直接到IT机柜。

所有服务器机柜内的IT负载，提供1路UPS电源供电,1路市电保证其供电需求。

为了保证微模块的高可用性和高节能性，不间断电源采用模块化UPS配置。

为了保证监控及安防、消防系统各种传感器不间断工作，可单独配备一台小型UPS为其供电。

精密配电柜系统配备智能电量仪，将采集的运行数据（包括但不限于总电压、总电流、总功率、用电量、功率因数、谐波、各支路电压、各支路电流、告警信息等）纳入到监控系统中。

精密配电柜系统对所有空开、电池维护开关的开关状态进行监测，配置防雷模块与维修开关。防雷模块为C级防雷以上。市电直供交流配电的交流输入配置防电压浪涌器。

2.2.2 PDU

PDU安装在服务器机柜内，为IT负载进行供电。一般配置3kW功率段的PDU，每个服务器配机柜交流PDU 2个。

交流PDU外观如图2所示。

图2　交流PDU外观

2.2.3 接地微模块接地系统满足人身安全及运营设备正常运行的要求。微模块内电源、列间空调等设备的金属导体、底座、柜体、天窗等金属结构部件均做等电位联结。

微模块对外接地时，其底座接地点与机房接地分汇集排之间，用16mm2黄绿相间色单芯绝缘阻燃软电缆可靠连接。

机柜内所有电缆均符合YD/T 1173的要求。电缆和母线的绝缘层或外护套颜色符合GB 7947的要求。

2.2.4 照明及维护插座

微模块内安装有平板LED照明灯具，安装于冷通道内顶部。照明系统照度达到500lx以上，并实现人员进出时的灯光自动控制。

2.3 微模块制冷系统

2.3.1 气流组织

微模块内，空调同微模块结构系统、电源柜以及UPS柜，共同组成密闭的冷通道，实现冷热空气隔离，微模块采用水平送风的列间空调进行制冷。列间空调采用前部双侧送风，正面送风方向小于90°，冷空气直接靠近热源，送风距离大大缩短，减少了气流沿程压力损失和冷空气的泄漏量，冷空气利用率提高15%～20%。

微模块的气流循环示意图如图3所示，空调将服务器排出的热风从空调后部吸入进行冷却，然后从空调前部吹出，冷空气在冷通道内扩散后，再被服务器吸入、排出，如此反复。

图3　微模块气流循环图

2.3.2 列间空调

列间空调满足如下特性：

1) 空调正面水平送风，背面回风；正面送风方向小于90°，双侧送风；

2) 背面安装便于更换的G4等级过滤器；

3) 可采用送风/回风温度控制方式；

4) 配置独立控制器，支持多行中文显示，可显示机组状态、进出风温度、风量、进出水温度等参数；

5) 具备掉电记忆功能，异常掉电后，来电可自启动，可恢复掉电前运行状态；

6) 具有组网功能，可实现微模块内多台空调群控运行，实现休眠、轮巡等群组功能；每台机组配置相同控制器，均可作为主机运行；标配RS-485通讯接口；

7) 风冷型列间空调支持交流双电源供电；

8) 提供必要的告警信息，包括但不限于回风高温、高湿、异常掉电、通信故障、气流丢失、风机过载、进水高温等；

9) 采用R410A环保制冷剂的直流变频EC压缩机，动态制冷，适应快速变化的机房负荷；可大大降低压缩机启停次数，提高系统可靠性；

10) 采用EC技术的可调速风机，风机在出风口均匀布放，按制冷需求或风压自动调整风机转速；风机N+1冗余配置；任意风机故障，仍可确保全风量运行；

11) 采用电子膨胀阀，平滑调节节流开度，与变容量压缩机配合实现节能；调节范围宽，降低过热度，提高能效比。

2.4 微模块消防系统

微模块消防系统主要实现火灾探测、天窗和设备联动、消防告警等功能。消防系统主要由烟感、天窗磁力锁和消防门禁控制箱等组成。密闭冷通道内顶部安装有烟感；在活动天窗上安装有天窗磁力锁；在微模块顶部安装一个消防门禁控制箱，内置天窗电磁锁控制模块；外接消防24V控制电源及220V交流电源，由数据中心机房总的消防控制器提供的干接点信号进行联动控制。

当某个微模块的烟感侦测到烟雾，向数据中心机房消防控制器上报告警信号；消防控制器控制该微模块的消防门禁控制箱进行动作。消防门禁控制箱向该微模块的监控系统输出报警信号，微模块产生声光报警；切断天窗磁力锁电源，打开活动天窗；关闭列间空调。数据中心机房消防控制器，控制消防喷头喷出消防气体进行灭火。

微模块消防系统和数据中心机房消防控制器联动原理如图4所示。

图4　消防联动原理图

微模块对数据中心消防系统的要求如下：

1) 机房内的消防采用房间级的气体消防系统，由业主完成；

2) 多个微模块集中部署时，采用集中式灭火系统。并与数据中心消防系统配合；

3) 消防系统的选型首先必须符合数据中心所在地消防局的相关规定并得到其认可。

2.5 微模块系统综合布线

微模块采用上走线的布线系统，在顶部安装线槽，实现线缆的有序管理。

布线系统特性如下：

1) 微模块顶部实现强电线槽和弱电线槽分离，分别用于电源线和信号线走线。红色标签线槽走强电，蓝色标签线槽走弱电；

2) 微模块顶部提供横向线槽和纵向线槽。横向线槽位于微模块每列机柜顶部，实现横向走线；纵向线槽连通微模块两列机柜；

3) 微模块顶部线槽内有清晰的强弱电标识；

4) 每个机柜内后部左侧安装弱电线槽，右侧安装两条竖装的交流PDU和直流PDU；

5) 两个微模块之间通过机房走线架进行连接，走线架分为电源线走线架和信号线走线架。

2.6 微模块智能管理系统

微模块内设置24小时不间断运行的智能管理系统。

系统对机房微模块内的动力设备、环境设备、安防设备统一监控，并实现对微模块能耗、资产、容量等统一运维管理，最终达到对微模块基础设施智能化监控管理的要求。

系统体现“高科技、智能化、绿色节能”的建设理念。

图5　微模块监控系统架构图

微模块监控系统作为云管理服务系统中的一个组成部分，通过交换机，将每个微模块的信息统一与上层的云管理服务系统进行互联互通。微模块监控系统架构如图5所示。

各部分的主要作用如下。

现场设备：由各种智能设备、传感器、I/O采集模块，通讯转换模块等组成；现场设备是监控数据的根源，现场设备的数据通过通讯转换模块或者直接接入现场监控层。

处理层：由数据采集处理单元（GU）组成，负责收集与处理由现场设备发送上来的数据。数据采集处理单元内置在微模块中，其具有数据采集、数据处理、协议转换、联动控制、报警管理、视频集成等功能，内嵌WEB服务，支持远程IE访问。该数据采集处理单元，可采集管理微模块内的各种动力设备、环境参数和安防系统以及IT设备参数。提供友好的人机界面，满足用户个性化需求。内置WEB服务为系统管理人员提供远程设置、远程监控、远程维护及远程报警等专业管理功能。网络中断时仍可独立运行、存储数据及联动控制。

当机房仅有一个模块时，微模块内置的监控系统可以独立完成该模块的基础设施监控能力，通过显示层的各种展示终端和报警发送设备组成系统，实现微模块监控与用户的人机交互。

在由多个微模块组成的数据中心中，微模块内置的数据采集处理单元，将采集的数据和处理后的结果、报警信息等上传至上级云管理服务系统。

3 微模块中心机房的发展趋势

在IT行业中，举足轻重的政企市场正在快步进入云计算时代，一方面，越来越多的中小企业，从自建小微数据中心转而向成熟的云计算服务提供商购买云服务；另一方面，政府也开始尝试与专业IT厂商合作建立市级、省级的云计算数据中心，为二级单位提供云服务，云计算已经从前几年的概念炒作发展到今天在政企市场中的实用阶段。数据中心作为支撑云计算服务的基础单元，随着云计算的快速发展，势必会呈现集中化、大型化、专业化的趋势，微模块数据中心正是在这种背景下出现的一种新型数据中心部署形式。

云计算的重要特征之一就是弹性扩容，而实现数据中心的弹性化部署则是其中尤为关键的一环。IT界的新技术往往最早出自更具创新力的互联网企业，在建设弹性数据中心的探索中，由于对数据中心的需求量更大，规模更集中，又更加看重成本，国内外的大型互联网企业又一次走在了行业前列。以Google的比利时数据中心为例，配电和制冷分别位于机房两侧，采用类似集装箱的模块化单元，机房内部也采用了冷、热通道隔离的微模块单元，成为真正的模块化数据中心。但国外的成功经验并不一定适用于国内，在土地资源尤其紧张的中国，容积率超低的单层厂房式数据中心无疑是奢侈的，所以更加适合多层数据中心的室内微模块，慢慢成为国内弹性数据中心探索的主要方向。

参考文献

[1]郭亮.浅析微模块数据中心的关键技术[J].信息通信技术, 2013（01）.

[2]陈广成.中兴微模块数据中心 颠覆传统的IDC新模式[R].中兴通讯云数据中心峰会，2014.

【摘要】要 】微模块数据中心是将传统机房的机架、空调、消防、布线、配电、监控、照明等系统集成为一体化的产品，充分发挥了模块化设计的优势，可以实现系统的快速、灵活部署，这不仅可以大幅降低建设成本，而且能够大幅缩短数据中心的建设周期。微模块数据中心建设对机房的空间环境没有特殊要求，不需抬高地板和其他机房的专门装修。微模块数据中心提高了数据中心的整体效率，既提高数据中心内IT设备的效率，也提高能源的使用效率，它拥有先进的列间空调制冷和冷热通道隔离技术，实现数据中心的绿色化。

(Jiangsu Province Post and Telecommunications Planning & Design Institute Co., Ltd.)

【Abstract】Micro Module Data Center is a integrated product. It contains the framework, air-conditioning, fire-fighting equipment, connection-up, power distribution, monitor, lighting and so on. It plays the advantage of the modular design sufficiently to implement the fast flexible deployment. It is not only for reducing expense, but also for shortening the construction period. Micro Module Data Center construction has no special requirement to the space environment of the computer room. It is not necessary to raise the special decoration of the floor and other rooms. Micro Module data center improves the efficiency of the data center, which includes the efficiency of IT equipment in the data center and the efficiency of energy. It has an advanced inter - column air conditioning refrigeration and hot-cold channel isolation technology which is useful for afforestation of data center.

【关键词】微模块；气流组织；列间空调；冷热通道隔离

【Keywords】micro module; air-flow organization; inter column air conditioning; hot and cold channel isolation