陈刚

(核工业北京化工冶金研究院，北京 101149)

随着铀矿冶产业的持续发展，为了使投入的人力、物力、财力的信息化基础设施发挥出更好的效益，保障整个铀矿冶信息系统平稳连续运行，需要对网络基础设施综合管理开展技术革新。云计算作为“互联网+”的新基础设施构成要素之一，已经被国家作为战略发展重点明确提出，通过将云计算技术融入企业现有的信息化系统中，提升各个行业及产业的信息化水平及能力，促进国民经济提质增效升级。铀矿冶云计算双活数据中心的建设，是实现铀矿冶信息资源整合和业务一体化、数字核工业发展的基础设施保障，是实现数字化核工业的创新模式，是信息化发展的关键节点，是铀矿冶信息化建设的核心内容。

1 技术现状及问题分析

1.1 铀矿冶数据中心现状

原数据中心建设较早，设计服务于简单数据应用，主要有机房、应用服务器与存储设备。原数据中心将应用系统服务均部署在独立的物理服务器中，如综合办公系统、邮件系统、财务系统、人事系统、电子签章系统、试验管理系统、病毒查杀系统等；在存储架构方面，采用双存储冗余备份方式，即使用2台存储，1台用于应用系统本地存储，另1台用于数据备份，每1套系统运行需要2台物理服务器来支撑，系统部署越多，物理服务器成倍增加，资源利用率极低，且不能实现实时备份存储。当应用系统运行的存储设备发生故障时，另1台系统备份的存储设备无法完全保证应用系统正常启动或数据能够正常使用，是属于传统意义上的数据中心，如图1所示。

图1原数据中心结构

1.2 问题分析

1.2.1数据中心运行管理复杂

原数据中心是以硬件设备为中心，全部业务应用系统均运行在单独的物理服务器中，如果需要上线新的业务系统，必须大量采购物理服务器，一方面会导致机房使用面积不足，机房功耗和环境温度居高不下；另一方面数量庞大的服务器购置成本及管理维护成本，最终导致数据中心运行管理日趋复杂化。

1.2.2资源利用率低

原数据中心中资源利用率极低。按照传统模式数据中心架构，所有重要业务系统均设置了双机热备与双存储冗余，即一个正在运行的业务系统使用了2台服务器与2台存储设备，当1台服务器和1台存储设备运行时，另1台服务器和另1台存储设备一直处于备用状态，均不是满负荷运行，资源浪费严重。

1.2.3项目孤岛

原数据中心部件紧密耦合，内部均基于单个项目需要建成的单个业务系统，“项目孤岛”越建越多，但服务器、网络和存储所有资源都与单个项目静态绑定在一起，成为“孤岛架构”系统。另外，原数据中心采用以物理设备管理为核心的管理模型，各种设备管理工具之间不易融合，很难满足未来数据中心灵活易变的业务配置模型和管理需求。

1.2.4数据安全

原数据中心采用独立物理服务器双机热备数据容灾设计方案，保障硬盘数据同步，如果人为误操作删除了系统核心文件，硬盘数据即使同步，因核心文件丢失将导致系统无法正常启动，数据安全难以完全保障；另一方面因服务器、安全、网络、存储等设备增多，外线电力增容困难，满负荷用电容易造成机房断电；机房室内温度也随服务器、交换机和存储设备增多而增高，空调温控冗余能力明显下降。

铀矿冶科研人员因长期在偏远地区从事科研工作，现场工作用便携式计算机容易丢失或损坏导致数据丢失或不可用；偏远地区工作用台式计算机系统出现故障，现场无法及时运维；现场试验数据与单位办公室数据无法实时安全交互。

2 铀矿冶云计算双活数据中心设计

铀矿冶数据中心承载着各种铀矿业务信息系统，服务于未来“一带一路”沿线国家铀资源合作大战略发展及两化融合需要，数据中心不允许出现业务信息中断，因此建设一个高效而稳定的铀矿冶数据中心迫在眉睫。以云计算技术架构，新建数据中心B，和原数据中心(以下简称数据中心A)一起将所有物理服务器资源和网络资源及存储资源进行灵活调配，按系统应用需求采用云计算虚拟化技术分解成若干个虚拟的资源池，在虚拟资源池中建立多个虚拟化集群平台，数据中心A和数据中心B互为主备，构建动态的绿色环保铀矿冶云计算双活数据中心。

2.1 关键技术

2.1.1虚拟化技术

虚拟化基本原理是模拟一套指令集，每一个虚拟机用户都可以访问该指令集，虚拟机通过该指令集映射到计算机物理指令集，对硬分区、操作系统及硬件进行模拟。该技术对数据中心各种资源进行虚拟化，实现真实环境的全部功能，即服务器虚拟化、网络虚拟化、存储虚拟化、软件虚拟化和桌面虚拟化等。

2.1.2大二层网络技术

虚拟化技术从根本上改变了数据中心传统网络架构，虚拟机实时动态迁移技术要求网络需要支持大范围的二层东西横向域，通常为了保证虚拟机承载业务的连续性，虚拟机在迁移前后IP地址不发生改变，虚拟机迁移地址范围需要在同一个二层数据链路层虚拟局域网下，即二层数据链路层网络规模大，虚拟机迁移范围远。大二层网络主要使用虚拟交换机技术和隧道技术，不需要生成树协议，在双中心通过VPLS、OTV及EVI等实现三层网络中的二层网络互联互通，不会阻断链路，且不受环路影响，采用的大二层网络技术如图2所示。

图2大二层网络结构

2.1.3双活存储数据复制技术

双活存储原理是指数据中心能够通过镜像进行数据同步且数据不丢失，RPO=0；在存储发生故障时能够通过切换进行自动接管，保障业务数据不中断，RTO=0。

双活的存储数据复制技术是在原数据中心的基础上通过建设数据中心B形成双中心，进行远程卷镜像操作。2台存储用于双活部分的配置必须一样，即控制器型号、缓存大小和接口配置一样；2个存储引擎一定同时处于心跳工作状态，故障产生时自动切换，虚拟主机可以通过互为主备的存储引擎进行数据读写操作，2台存储承载不同的应用系统进行相互镜像。

2.2 总体架构设计

铀矿冶云计算双活数据中心建设主要内容是运用数据双活架构，使用网络虚拟化、服务器虚拟化、存储虚拟化、存储双活、数据库分布等技术建设数据中心A和数据中心B的云环境，实现业务系统在2个数据中心并行工作、负载均衡，且数据灾后无感知恢复。铀矿冶云计算双活数据中心架构设计如图3所示。

图3铀矿冶云计算双活数据中心架构

2.3 资源池设计

2.3.1网络资源池

网络资源池采用VMware NSX技术，在网络4～7层构建虚拟化分布式防火墙，实现虚拟网络访问控制；构建虚拟化网关，实现虚拟化网络连接和负载均衡。在数据中心A和数据中心B各部署2台华为汇聚交换机CE8800，同时部署网络大二层虚拟化集群。数据中心A虚拟化集群部署2台华为S12712交换机作为网关；数据中心B虚拟化集群部署2台华为S7712交换机作为网关。2组网关通过VLAN划分VRRP协议组，能够让数据中心A和数据中心B 2组网关互为主、备身份。通过数据中心环网双向转发检测和虚拟路由冗余协议快速检测机制，检测数据中心A和数据中心B的2组网关链路联通工作状态。当其中1个数据中心网关出现检测故障时，网络业务将进行故障切换，由另1个数据中心网关接替，为虚拟路由冗余协议网络设备继续工作，实现数据中心A和数据中心B网络故障无感知自动切换。

2.3.2存储资源池

存储资源池由物理存储设备和虚拟化分层存储引擎组成。为解决数据分散保存在独立服务器中，无法保障数据中断导致的数据连续性问题，设计双活“VMware vSAN架构”虚拟存储系统。双活“VMware vSAN架构”虚拟存储系统分别采用2组vSAN集群部署在数据中心A和数据中心B，建立“心跳网络机制”，当数据中心A或数据中心B数据存储出现异常故障时，存储数据由vSAN集群对数据中心A或数据中心B互为镜像复制，还原数据中心A或数据中心B存储数据。

2.3.3计算资源池

铀矿冶数据中心计算资源池采用业界领先、可靠性高的虚拟化系统VMware vSphere设计方案。VMware vSphere虚拟化系统对服务器进行虚拟化操作，将应用程序和操作系统从底层硬件分离出来，服务器则可以作为资源池进行管理，从而建立服务器的资源池，划分虚拟机集群供应用部署支撑运行。为保证数据中心各业务系统的持续安全稳定，独立设计了用于各类测试业务的虚拟化测试集群；用于桌面云办公的虚拟化桌面集群；用于虚拟机管理的虚拟机管理集群；用于数据库系统管理的虚拟化数据库集群；用于科研生产业务系统的虚拟化生产集群等多个虚拟化集群方式。对某些业务系统所需的“USB KEY”读取运行功能，设计了“USB KEY”端口映射虚拟服务器功能，如图4所示。

图4 计算资源池设计

测试集群采用1台4路32核刀片服务器，部署在数据中心A中，用于运维人员进行系统测试和开发。桌面云集群采用2台深信服虚拟化一体机，分别部署在数据中心A和数据中心B，用于生成用户端任意方式远程桌面接入的独立或共享式计算资源。管理集群采用2台4路32核刀片服务器，分别部署在数据中心A和数据中心B，用于虚拟机的实时运维和管理，同时可以为远程运维人员提供桌面办公紧急接入。数据库集群采用2台4路32核刀片服务器，分别部署在数据中心A和数据中心B，主要利用Oracle Dataguard进行业务数据链路同步。生产集群采用4台4路32核刀片服务器，数据中心A和数据中心B分别部署两台，用于科研生产业务系统运行以及将来新业务的部署、运行和管理。

2.3.4安全资源池

为了保障铀矿冶业务信息系统的安全，需要设计安全资源池。数据中心的双防火墙和双安全网关等关键安全设备均采用双链路配置技术，2台防火墙或网关同时工作，每台防火墙或每台网关只有1台链路在工作，同1台防火墙或网关的2条链路互为备份，如果1条链路失效，另1条链路将启用并接管所有流量；当1台防火墙或网关失效时，另1台防火墙或网关将接管失效防火墙或网关的流量，如图5所示。

图5安全资源池设计

2.3.5桌面资源池

办公用桌面资源池采用云计算虚拟化技术，动态按虚拟桌面个数，每个虚拟桌面配独立的系统和应用，通过设置端到端的接入策略，实现低带宽高速交付协议。用户可以用任何终端设备(个人电脑和移动端)点对点网络连接形式访问桌面云资源池集群中的个人办公桌面，实现用户端与虚拟桌面通信，这与传统的电脑体验一致。桌面云管理组件对办公桌面进行快速复制部署和集中管理，如图6所示。

图6桌面虚拟化

2.4 双活容灾备份设计

在数据中心A基础上新建数据中心B，按照“双活”设计，中心间通过电信运营商专线互联，出口处均部署网闸保障内网安全，双中心分别部署2台核心和2台汇聚交换机，核心和汇聚都采用IRF2技术进行虚拟化，在核心和汇聚之间进行设备链路聚合，通过资源池即可实现铀矿冶各业务系统数据的便捷容灾和备份。具体表现为当业务应用升级、出现BUG或误操作导致数据丢失或无法启动时，通过云计算数据中心建立的数据正副本“快照”备份策略，只需要选择数据快照恢复点，即可将数据恢复至误操作前的快照备份时间点；在数据中心A和数据中心B位置还分别联入了1台“备机”，“备机”根据设置好的备份策略，每日可以自动将资源池中数据正本进行复制且热迁移至“备机”中。如果数据中心的资源池全部瘫痪，可以选择备机进行数据迁移，即能够将误操作前的副本数据恢复到正常状态。这可防范因数据中心A或数据中心B完全瘫痪时导致的数据丢失。对重要的数据库，采用的虚拟化数据库集群恢复模式，它类似“备机”，专门用来恢复业务系统的数据库，不对系统进行恢复操作，如图7所示。

图7双活数据中心容灾备份示意

针对双活数据中心链路稳定状况和IO延时指标不可控的难点，选择2家不同通信运营商裸光纤的冗余，且数据中心A和数据中心B间设计不超过100 km,通过Oracle Dataguard的仲裁参数misscount结合Vplex的仲裁timeout参数来保障时间序列的一致性。Oracle DataGuard利用的基本原理是在与主备系统完全一致的操作系统平台及硬件上建立后备数据库系统，同时要对主数据库的控制文件和日志等关键性文件进行相应备份。

3 铀矿冶云计算双活数据中心故障点测试

3.1 资源池故障测试

当数据中心B资源池集群中虚拟机出现故障，通过VMware HA技术，数据中心A中的虚拟机副本自动迁移至数据中心B，接管数据中心B中的故障虚拟机，故障虚拟机IP地址192.168.11.9不发生变化，PING命令验证IP地址192.168.11.9，在短暂无法访问后恢复访问的连通性，表明原故障虚拟机已经可用，整体恢复时间约1 min，测试通过，如图8所示。

图8 数据中心B虚拟机恢复连通性测试界面

3.2 网络出口故障测试

当数据中心A网络出口的设备发生掉电、受攻击阻断等情况时，某网段在数据中心A出现网关IP地址192.168.1.254和路由不连通失效状态，数据中心B检测到数据中心A网关不连通失效状态，会将其网关切换到VRRP主用状态，路由器随后连通生效，这时访问数据中心A故障网段的流量从数据中心B由网关IP地址192.168.11.254进入，经过2个中心间的大二层环形互联，成功访问数据中心A资源池虚拟机，PING命令验证连通性表明原阻塞端口已恢复可访问，整体恢复时间约10 s，测试通过。

3.3 应用系统故障测试

用户通过IP地址访问数据中心A的综合办公系统时，双中心的DNS会解析出综合办公系统的主IP地址为192.168.1.12，备IP地址为192.168.11.9。当数据中心A中综合办公系统因虚拟机发生故障无法访问时，DNS会继续解析数据中心B中备IP地址192.168.11.9，备IP地址解析生效后迅速拉起综合办公系统副本，并正常访问综合办公系统，实现故障恢复无感知过程，使用PING命令验证综合办公系统连通性返回IP地址是备IP地址，综合办公系统可以访问说明故障已恢复，测试通过，如图9所示。

图9综合办公系统故障恢复连通性测试界面

4 铀矿冶云计算双活数据中心应用效果

4.1 管理简单

采用了云计算虚拟化管理平台实现了数据中心所有业务系统虚拟主机的在线统一管理和操作，不需关心服务器硬件差异即可实时生成配置虚拟主机供业务系统使用，业务系统实现实时在线快照、克隆和热迁移。

4.2 数据中心资源利用率高

在云计算数据中心虚拟化管理平台能够随时检查业务系统每个虚拟机的资源利用情况，如CPU占用率、硬盘使用大小、数据流量大小等，还可以查看系统发出的警告和建议；同时，平台也可以自动调整资源利用率，起到负载均衡作用。

4.3 消除了“项目孤岛”现象

铀矿冶云计算双活数据中心的应用，使得项目业务系统不再受单台服务器硬件制约。资源池的应用让所有项目的业务系统共享软硬件分配和扩展。

4.4 保障了数据安全

铀矿冶云计算双活数据中心采用互为灾备策略，当系统因意外停机时，计算池中的应用系统备份根据无联机响应策略接管意外停机的应用系统继续运行，恢复点目标RPO=0，RTO接近于0，极大提高了运维能力和响应速度。

4.5 社会及经济效益分析

铀矿冶云计算双活数据中心建成后，物理服务器与用户终端均虚拟化。以部署8套应用系统、200台用户终端实际运行环境进行社会及经济效益分析，云计算双活数据中心与原数据中心相比，节约了购买成本约92万元；节约运行电费约22万元/年；减少的碳排放量约163.76 t/年。

5 结论

1)铀矿冶云计算双活数据中心利用云计算虚拟化技术，通过建设虚拟化资源池集群，最终形成了铀矿冶科研生产应用的科研生产云、测试开发云、办公桌面云、安全云和灾备云等成果，不仅提升了铀矿冶数据中心信息系统整体管理效率，也提高了数据中心资源利用率，解决了铀矿冶科研生产系统间“项目孤岛”问题及铀矿冶科研人员偏远地区与办公室数据交互问题。

2)铀矿冶云计算双活数据中心建设颠覆了传统数据中心“一主一备”的容灾设计方法，业务系统故障切换中断时间减少到了毫秒级，满足了业务系统数据连续性要求。

3)数据不落地，防止了数据失泄密，保障了数据安全。