数据中心选址

IT数据中心选址非常重要，关系到数据中心未来的发展空间。因为要考虑到现有设备的规模，未来若干年可能的发展扩充，所以在选址时就需要规划出一个合适的建设空间和未来的扩展空间。

笔者选择了在二楼建立数据中心，因为数据中心要避开强电磁干扰环境，以防止对计算机电子设备运行产生影响。另外要避开有污染，有噪声的环境。该空间还要具有良好的通排风条件，提供新风接入和排风通道，保持内部空气清新。

笔者单位数据中心机房所在二楼有电梯直达，这样方便机柜，服务器，核心交换机等大型设备的运输和安装。二楼的层高为4.3米，为机柜安装和各类管路和桥架安装提供空间。因为数据中心所在大楼是试验楼，很多设备都比较重，所以在大楼建设时楼板载荷都是按照大于2吨/平米来设计和施工的，该指标满足机房的承重要求。

图1 UPS供电系统示意

数据中心UPS供电系统

数据中心计算机电子设备对电能质量要求很高，因为接入的市电，电压、频率波动较大，电力谐波较多，电能质量不高，容易对计算机电子设备造成影响，所以市电不能直接供给数据中心使用，需要通过UPS设备进行稳压滤波后再供给数据中心使用，示意图如图1所示。

经过我们调研，市场上UPS有塔式结构和机架式结构，相比塔式结构，机架式结构UPS采用模块化UPS功率模块，主机容量易于扩充，便于未来的扩展。UPS后备电池的数量可以通过以下公式来计算：

P*H*1000=12*100*X*0.9

P代表数据中心总的设备功率（KW），H代表电池后备小时数，12*100代表12V，100AH的电池，X代表电池数量。0.9代表转换效率。

经过UPS稳压滤波后，UPS输出的电压波动范围＜2%，频率波动范围＜0.2HZ，谐波水平＜3%。

笔者单位数据中心模块化UPS、单个功率模块32KW。

数据中心空调系统

数据中心空调系统是给计算机电子设备提供舒适性温湿度环境的重要设备，数据中心计算机电子设备运行的适宜温度在23±2℃，湿度在55±10%，目前数据中心空调系统主要有以下两种：

1.风冷空调系统

风冷空调系统主要采用的是压缩机原理来给数据中心机房降温，该系统需要较大地方放置室外机，优点是每台空调都是独立运行，一台出现故障不会影响整个数据中心机房设备运行，温湿度控制较好，而且不会出现漏水的风险。缺点是功率大，电能消耗高。

2.水冷空调系统

水冷空调系统主要采用的是冷冻水循环的热交换方式来给数据中心机房降温，该系统需要外部提供冷冻水接入冷冻水分配单元，在数据中心内部要通过管路将冷冻水引入水冷空调。

它的优点是功率小，比较节能。缺点是冷冻水管路铺设工程量较大，施工质量难以保证，存在漏水的风险，而且后续的维护保养工作比较复杂（为了保证冷冻水管路的施工质量，在招标时我们要求必须要求中标厂商必须提供原厂施工，并且要求施工质量要满足自验收合格后五年内无故障要求并签订承诺书），一旦出现冷冻水机组出现故障的情况，整个数据中心将失去唯一的冷源。所以，如果采用水冷空调系统，最好是能够保证独立运行的冷冻水机组1+1冗余运行，保障冷冻水的稳定供给。

因为笔者单位新建大楼有冷冻水机组提供恒温冷冻水，所以单位数据中心空调系统采用冷冻水上走水的水冷空调。

图2 冷冻水管路

没有采用冷冻水下进水的方式是因为在设计的时候选择的是机柜直接落地，方便设备进出，如果采用架空静电地板，跟地平面就会有高度差和台阶，不方便设备进出和安装。

目前系统运行时间接近1年，运行情况良好，但是在湿度控制方面不是很理想。由于水冷空调不具备加湿和除湿功能，在夏天尤其是梅雨季节，机房湿度很高，高的时候湿度达到70%以上，容易产生冷凝水，需要额外放置除湿机除湿。冬天的时候又相反，机房湿度很低，低到只有百分之十几，容易产生静电，又要额外加湿。

另外，采用冷冻水上走水的方式最大的风险就是冷冻水管路问题，一旦出现漏水情况，后果不堪设想，为了预防漏水情况，我们在冷冻水管路上放置了很多的漏水检测绳，尽量做到漏水情况的早发现早解决。数据中心冷冻水管路如图2所示，图中上方黑色垂直圆管就是冷冻水进回水管路。

数据中心电能分配单元

数据中心从UPS处输入电能，需要分配至每个机柜，这就需要一个动力分配单元。该单元主要由1个输入回路总开关（160A），26个输出回路分开关（32A），每个开关对应1个PDU，4个输出回路分开关（16A），每个开关对应一台精密空调组成，给两排共13个机柜和4台冷冻水空调供电。

该单元具备智能电网功能，能够采集显示并统计每相电压、电流、功率因素、电能消耗、谐波水平和三相平衡等电能参数信息并上传至数据中心动力监控系统。

电能分配单元电源进线采用三相五线制，包括A、B、C三相和N线以及PE线。每个机柜分配2个PDU，满足单机柜最大12KW电力供应，每个水冷空调通过输出回路分开关独立供电，每个PDU对应一个输出回路分开关，每个PDU均采用航空插头保障电气连接的可靠性，强电电缆放置在专用的强电走线槽内，采用机柜上走线的方式进入机柜，既隐蔽美观又能保证供电安全。A、B、C三相均匀分配，保障三相动力平衡输出。

数据中心防雷和接地系统

数据中心的防雷接地系统除了有所在建筑物的防雷接地系统保护外，还应该施加额外的保护，这类保护就是在UPS设备和末端动力分配单元安装防雷器，这样就可以起到对数据中心计算机电子设备的双重防雷保护。我单位采用的是德国OBO防雷器。

图3 灭火消防系统

数据中心接地系统主要采用3MM*25MM铜带组成的网格铜排，构成一个稳定可靠的信号基准电位，该铜排网络通过与机柜可靠连接，机柜与PE线可靠连接，各机柜相互可靠连接，包括各类强弱电桥架和吊顶支架等都要相互可靠连接，再连接至大楼的接地端子和楼层等电位连接端子，做到PE线和局部等电位的重复接地，保障数据中心机房的良好接地。

数据中心消防系统

数据中心消防系统是计算机电子设备安全运行的保护伞，目前数据中心消防系统主要有两种灭火方式：

1.气体灭火系统

主要采用的是七氟丙烷灭火系统，该系统在检测到数据中心发生火灾后自动释放七氟丙烷气体，隔绝氧气，使火灾熄灭，优点是对计算机设备无影响，缺点是七氟丙烷有毒，对人体和环境有危害。

2.高压细水雾灭火系统

该系统在检测到火灾后采用的是超高压喷水，将水喷洒成水雾状来完成灭火的功能，对设备和人体均无影响。

笔者单位数据中心采用的是高压细水雾灭火消防系统。该设备从德国原装进口，经过在数据中心消防演习，该设备能很好的完成消防灭火功能，如图3所示。

数据中心综合布线系统

数据中心综合布线系统是整个信息系统的数据高速公路，负责连接服务器设备，存储设备和网络设备的数据通道。当前主流的综合布线网络介质是六类千兆网线和千兆光纤， 未来几年会逐渐被全万兆光纤网络替代。

考虑到现有服务器、存储和网络设备基本上都是千兆电口和千兆光口，为了节省成本，根据现有设备规模计算所需六类千兆网线端口数和千兆光纤网络数目，以后再慢慢的根据设备更新增加万兆光纤网络。

综合布线工程需要根据数据中心实际情况实施，如果采用架空静电地板，网线和光纤可以采用放置在地板下面的弱电走线槽内，从机柜下部进入机柜内部，也可以采用上走线从机柜上方的弱电走线槽内，从机柜上方进入机柜内部。

如果不采用架空静电地板的方式，机柜直接落地，那么网线和光纤就必须采用上走线的方式从机柜上方进入机柜内部。综合布线是数据中心的面子工程，直接反映数据中心的建设水平和管理水平，要求既要好用又要美观整齐。

数据中心动力环境监控系统

数据中心动力环境监控系统是一个先进的数据中心必不可少的组成部分，是数据中心的智能化管理平台。通过分布在各个机柜和数据中心区域的温湿度传感器、烟感报警器、火灾报警器、漏水报警检测等将数据实时传递到动力环境监控系统主机，该系统可以集成数据中心视频监控系统、门禁系统、日志管理、故障声光报警以及短信报警系统。

图4 动力环境监控系统示意

同时该系统还可以通过485协议、TCP/IP协议、modbus协议等将其他设备，比如动力分配单元、精密空调、UPS以及第三方设备的运行信息读取出来，集成到一个总的管理界面上来。

所有的设备运行参数和环境数据全部集中显示，并且能够提供数据中心各设备运行参数的历史运行数据轨迹图。

该功能不仅对数据中心管理人员有用，对于设备运行维护人员同样有用，比如我们数据中心所在的大楼冷冻水机组，通过查询冷冻水供水温度曲线，冷冻水机组运行维护人员可以清楚地了解冷冻水机组的运行状态，冷冻水供水温度变化曲线等信息，可以让数据中心运行管理人员很方便的管理设备运行信息，查看设备运行状态等等。笔者单位数据中心动力环境监控系统如图4所示。

总结

以上几点内容是笔者在数据中心建设过程中总结的部分经验。

单位数据中心建设前期，笔者参观走访了多家大公司和兄弟单位的数据中心，详细考察了他们的数据中心的建设思路，详细了解了多家公司的数据中心相关产品性能，结合我单位的实际情况，最终制定了数据中心的建设目标和方案。

通过一年多的建设，笔者单位的数据中心竣工验收并顺利投入使用，在前期使用过程中虽然发现了一些小问题，比如湿度无法控制，冷凝水问题，冷冻水管路漏水等，但总体来说运行状况良好，达到了我们预定的建设要求。