王亮 刘清雪 鲁晓帆 郭邦圣

（吉林建筑科技学院 吉林省长春市 130114）

国外高可用集群源于1908年，E．C．Mo1ina 发表“中继”曲线概念等级实现信道全利用度，后期演变为服务器全利用度与高可用整合，现已非常成熟，我国1989年才开始引进模拟集群系统，目前绝大多数各类单位均未使用，这类需求与技术只被国内互联网大公司追崇。网络安全强国趋势，大数据与人工智能发展趋势，必然导致高可用及安全存储集群普及和应用。

1 前期基础、目的及必要性

1.1 负责人基础与背景

项目负责人曾任长春大学旅游学院教育技术与网络信息中心主任助理，华为高级网络工程师，全国计算机最高级四级网络工程师，负责整个中心常务工作，任职期间完成了整个校园网的规划设计与运营，整个校园监控系统与服务器阵列存储规划设计实现（267 监控点），完成校图书馆主控核心机房双机热备集群构建(具体包括：网络存储系统IP-SAN 浪潮AS500M 的RAID 安装、构建、IPSAN映射、中间件ROSE 的安装、部署，卷资源、别名资源、会话资源的创建部署，Oracle 数据库的部署与安装、带入带出、闪回等关键技术）具备扎实的IP-SAN 网络存储技术，双机热备集群技术，网络工程专业技术。2015年6月主要参加人完成吉图珲高速铁路敦化、蛟河、虎门岭三地高速铁路网络中心核心设备（存储阵列、路由交换、监控系统）规划设计、安装、测试具体工作等。

1.2 团队成员研究基础与背景

项目成员刘清雪与鲁晓帆、刘鑫三位副教授具有扎实的网络集群构建经验，对高可用中间件ROSEHA 具有扎实的授课经验和使用经验，完成校图书馆主控核心机房的关键业务构建与实现，校BIM 中心的高可用服务器规划设计与构建、校电供采暖超低能耗研究中心的服务器阵列、本地与网络存储映射、数据共享规划与部署。

其他三名成员在网络存储与集群上均有扎实的理论基础，均参与过各类企事业单位及校级网络信息中心和各个分支机构部门的关于本课题研究方向的信息化建设工作。

1.3 项目目的及必要性

目的：在大数据、人工智能领域开展深入研究，实现高校服务器采用HA（High Available）高可用及高可用安全存储集群构建。

必要性：一旦发生服务器阵列故障，则面临多个单点服务故障或校园多样服务大数据（教务系统数据、网站系统数据、监控系统数据、学科平台科研建设数据等等）损毁及停顿。因此，要实现业务数据的高可靠性，必然要保证存储高可用性，针对这类情况，提出高可用安全存储集群构建应用研究。

2 研究的主要内容

2.1 环境需求

本课题主要针对当前高等学校网络存储服务器高可用的建设与规划，以RoseHA 系统为核心，重点研究基于Rose 的集群拓扑架构，构建高可用安全的存储集群服务。

2.2 具体内容

基于ORACLE11G 数据库的部署与安装，Rose 集成ORACLE服务，启动GUI 工具，创建集群，高可用保护，双机热切换，仲裁资源，卷资源，IP 资源，进程资源,NT 服务资源的设计与创建，管理资源中的带入带出、切换卷资源、修改资源、测试资源中的应用程序访问、手动切换、关机切换、断线切换、kill 进程切换等。通过高可用安全存储集群的构建实现各类高校及中小企业的高可用集群与安全存储业务连续性的保障，各类高校与中小企业对高可用集群与安全存储这类信息化建设较薄弱，原因在于意识不够和构建及维护成本相对较高，没有把高可用及安全存储列入日常计划当中，当数据出现破坏或者丢失，当关键业务没有备用措施出现中断，没有产生连续性，则损失巨大。如果采用高可用安全存储集群，对学校与企业的损失则近乎为0。

3 拟解决的技术难点与关键技术

3.1 拟解决技术难点

高可用HA 实现，高可用对应的资源组设计，高可用环境下的心跳链路故障热切换加速度，磁盘阵列级别与IP-SAN 吻合性，高可用存储策略，安全存储设计，综合应用构建的科学性、稳定性、最优性、兼容性等。

3.2 关键技术（安装与部署ROSE-HA）

HA 高可用（主从复制、主备复制、互联式、中介式、双机切换、模拟式、主主复制、）,HA 集群技术（一主多从或一主多备、数据分散集群），反向同步技术，网络存储服务器技术，磁盘阵列技术，大型数据库ORACLE 技术。

高可用配置构建：

路由交换技术（MSTP 多生成树、ospf 动态路由、VRRP 虚拟链路冗余路由）,OSN-CDP 连续数据保护技术，OSN-REP 网络备份技术，远程容灾安全技术，TVM 透明数据迁移技术等。

4 拟采取研究方法、技术路线

4.1 研究方法

通过学校现有的高级网络存储IP-SAN,利用RoseHA 高可用中间件集群系统，结合当前高等学校及企业实际，构建高可用安全存储集群。

4.2 技术路线

安装部署RoseHA，硬件和系统环境准备，应用服务部署，数据安全性要求。RoseHA 配置oracle 服务，启动GUI 创建集群，高可用配置构建。

部署Oracle 数据库，主服务器部署联机共享，部署后删除主实例之后部署备用服务器，将Oracle 相关服务的启动类型更改为手动。

集群环境中部署应用的流程。管理资源组带入，带出，切换资源组，修改资源组，删除资源组。测试资源：应用客户端访问、手动切换、关机测试、拔线测试、进程测试。

5 技术指标

（1）满足高校与中小企业应用环境下需要实现以下技术要点：

（2）独立于应用程序和主机，不影响应用程序运行情况下，透明实现存储集群

（3）构建存储高可用HA 框架，独立于存储系统，为业务实现差异化

（4）异构存储管理技术，充分发挥现有结构

（5）单点故障全自动切换、恢复，MTBF>=99.99%,保障关键业务连续性

（6）基于IP-SAN 存储，提高灵活存储及存储利用率

（7）标准HA 模式、集群HA 模式、HA 多路径I/0 模式

（8）自动迁移资源，降低宕机。

6 实施方案

首先完成高可用安全存储集群整体规划与设计，其次实现安全存储IP-SAN 设计与集成由，RoseHA 集群规划与设计，高可用集群测试，最后实现高可用安全存储集群构建。

7 项目成果及应用转化前景预测分析

7.1 项目成果

（1）高可用安全存储集群的实现；

（2）高可用安全存储集群构建应用实现；

（3）大学校园与中小企业高可用安全存储集群实现；

（4）高可用安全存储集群系统集成；

（5）高可用安全存储集群单元与分布式测试；

7.2 应用转化前景预测分析

（1）通过RoseHA 实现大型校园网与中小企业通用的高可用安全存储集群构建；

（2）通过高可用安全存储集群实现高校教务系统数据安全性与教务服务业务连续性；

（3）通过高可用安全存储集群实现校网络中心各类数据服务业务连续性；

（4）通过高可用安全存储集群实现高校图书管理系统数据安全性与图书借阅服务业务连续性；

（5）中小企业通过高可用安全存储集群实现用户与企业自身数据安全性与企业业务连续性；

（6）为民办高校提供高可用服务器关键技术和安全存储集群支持；

（7）促进中小企业加强高可用服务构建意识，普及和推广构建高可用安全存储，增强数据与网络安全意识。

8 结语

高可用安全存储集群的构建是一个庞大的系统资源构建过程，构建过程中存在着对服务器硬件的参数配置，如服务器处理器、ECC 内存、主板、网卡、RAID 模式等若干关键要点，重点要求能够通过网络存储硬件与网络存储系统实现兼容与稳定，另外还要对大型数据库熟练掌握如ORACLE 中的主从实例创建、卷资源与实例的对称关系，自动闪回技术的实现，数据库增删改查、索引构建、关键字复合关键字的定义集群及关联。软件系统对硬件控制中的独立磁盘冗余阵列设计与规划，raid6,5,0+1 等方案的详细设计，通过操作系统控制与主板控制要加以区分，在构建高可用存储过程中，要将操作系统权限与资源分配放在首位，当遇到不可逆操作后，会通过系统设定将其恢复，数据库备份冗余需要创建主实例后再备份实例数据库中加载，否则会导致集群构建之后，资源无法启动，实例无法运行，关键服务无法启动等情况。心跳线路的设计要规范合理，能用千兆尽量用千兆以上线路，非光纤交换机建议使用六类线路实现，避免宕机发生。总体设计上要注重存储系统的安装与部署，它是整个集群构建的基本环境，要优化系统结构，关闭或禁用非主要服务，多路IP 规划科学合理，虚拟IP 设计要避免整个IP 网络集群架构的冲突。在模拟试验过程中，通过心跳切换的延迟来自于交换、存储、操作系统、网络架构、搭建过程与顺序结构等综合因素有关，因此深入挖掘提高加速度的高可用安全存储迫在眉睫。