深圳市亿威尔信息技术股份有限公司 孙大勇 王 鹏 陈德彬 徐安舒 张 军

分布式系统是有一组通过通讯协议通信、为了完成共同的任务而协调工作的计算机节点组成的系统，分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。分布式系统难于理解、设计、构建和管理，它们比单个机器数倍还要多的变量引入到设计中，使应用程序的根源问题更难发现，面临着诸多的挑战：异构的机器与网络，节点故障容灾性，不可靠的网络，计算和存储的一致性，数据存储的可用性，系统的高性能，系统的扩展性等。

1 系统设计

基于分布式式系统面临的一系列挑战，本文基于兆芯的自主可控分布式计算与安全存储系统，研究采用由上层应用软件、中间件和底层硬件基础设施组成。上层应用和中间件为主流的分布式应用架构，底层硬件基础设备包括计算节点、存储节点、管理节点、网络交换节点和UPS电源、线缆等附件。系统组成如图1所示。

图1 分布式系统组成框图

构建这样可重构、高计算性能、高实时性、低延迟大数据量的综合计算和存储系统，是对基础软件、中间件、管理软件及应用软件的整合。标准化的接口兼容主流的分布式计算框架和云计算虚拟化应用，软件架构图如图2所示。

图2 软件架构图

所支持的操作系统有：Windows Server、Suse、RedHat/CentOS/Vmware/银河麒麟、中标麒麟等主流国内外服务器OS。中间件包括通信中间件、计算中间件、数据库中间件、分布式架构软件、虚拟化套件等。应用软件可根据客户需求预装。

硬件采用4U机箱和刀片节点形态，包括24个支持热插拔的计算/存储节点、2个主备网络接口节点，2个主备管理节点，4个电源模块和8个风扇模块。建立两个计算集群，在两个计算集群中构建8个x86内核，通过内部主机互连结构，以连接芯片组和处理器集群，采用安全哈希算法SHA-1，SHA-256和加密算法SM3，SMS4很大程度上增强了安全保密性能支持能力；而且该平台支持硬件虚拟化，可以同时操作不同的内核，通过不同等级的指令缓存和硬件预取，使其设备间的交换传输速率比原来提升了两倍以上，可达到1000Mb/s。该系统原来的单通道支持模式现在变为单双通道同时支持，其通道内存容量可达到64GB；在该平台下采用支持C0～C4的增强型省电装置和支持p态转换，大大降低了同等应用场景整机能耗；同时该系统平台增加了热检测和热保护功能，可实时监控可监控管理性能；其在处理2D和3D图形方面平均无故障时间可近乎消除，通过采用完全国产CPU和加密算法和哈希算法，大大增强了安全保密性能支持能力。

硬件平台均采用兆芯CPU解决方案。开胜KH-30000系列8核处理器是兆芯自主研发的最新一代服务器通用X86 SOC处理器产品，主频2.7GHZ，国内率先采用16nm CMOS工艺制程工艺，兼容最新的X86指令集，可支持64位系统以及CPU和IO硬件虚拟化技术。同时支持SM3/SM4国密算法，可提供硬件级别的数据加密保护，支持CPU双路互连大大提高计算密度。主要面向服务器和存储应用领域。

ZX-200 IO扩展芯片是兆芯自主研发德新一代、高性能IO扩展芯片，可扩展PCIE2.0，USB3.0/2.0，SATA3，GNIC等服务器通用接口。

计算/存储节点采用开胜KH-37800D 2路互连方案，支持4通道DDR4 ECC UDIMM/RDIMM，单节点最大内存容量128GB。搭配ZX-200扩展芯片。支持配置2块3.5寸HDD或者4块2.5寸HDD/SSD。板载GE管理网卡和业务网卡。板载BMC管理芯片，支持通用的IPMI协议，实现节点的本地实时状态监控、管理和远程管理维护功能。

采用分布式计算和存储算法，将应用计算或存储的任务分割成一个个小任务，分布到各计算节点与存储处理单元节点上，由计算节点与存储处理单元节点完成各自对应的任务后，再汇总整合结果，得到完成的计算处理结果。分布式计算原只用于大型超算中心。但由于技术的发展与生产能力的提高，在小型的服务器也以刀片节点的方式，达到分布式节点的要求，实现小型整机或区域服务器实现分布式计算和安全存储系统的应用，是大型应用集群框架的小型化实现。

2 自主可控分布式计算与安全存储系统

本文所研究的基于兆芯的自主可控分布式计算与安全存储系统，使用国产CPU实现，自主可控；兼容性高可100%替换原X86计算机，支持主流应用如WPS，画图等应用程序，测试无兼容性问题；最大容量为单机箱768TB，可横向扩展扩容；节点数可达24节点；增强的可监控管理性能，支持整机CPU/风扇/电源等部件可监控管理，支持远程监控管理；可支持并行计算可构建高性能计算机集群；设备间数据交换传输速率不小于10Gbps；整机平均无故障时间（MTBF）≥5000h；同等应用场景整机能耗降低25%；增强安全保密性能，支持IC卡/指纹等保密开机模式，支持设备间的全加密联网等。