基于国产化服务器集群的海量数据处理负载均衡技术
2019-04-13郑吉洲王丽娜刘海彬王子豪
航天控制 2019年1期
关键词:系统
聂 璐 郑吉洲 王丽娜刘海彬 王子豪,2
1.北京航天自动控制研究所,北京100854 2.宇航智能控制技术国家级重点实验室,北京100854
航天装备在长期加电的过程中会产生海量数据。国外航天领域对海量数据的存储和处理通常采用云平台实现[1],如NASA建立了综合云服务平台Nebula和云计算平台iRODS,在Hadoop集群中应用MapReduce弹性存储和并行处理航天大数据洪流[2]。国外软硬件产品搭建的海量数据处理平台,具有处理高效、数据共享等优点,但却存在各种安全漏洞和后门,严重影响航天装备的安全服役[3]。利用国产软硬件搭建航天海量数据处理平台可以保证系统安全、自主和可控。
目前,基于龙芯服务器集群、中标麒麟操作系统及达梦数据库的国产化平台海量数据处理系统已完成基础功能的设计与实现[3]。通过搭建服务器集群并行处理海量数据,以期满足对数据处理实时性、高效率的客观要求。实验发现,平台虽已具备数据的处理、存储功能,但服务器集群内部的处理任务分配不合理导致各服务器负载不均,部分服务器产生了任务积压,对数据处理的时效性产生了一定影响。
当集群处理海量数据时,服务器负载不均会成为集群新的瓶颈,影响集群整体的性能。因此,均衡负载是国产化平台海量数据处理系统必须解决的一个问题。由于海量数据处理系统中数据类型多、集群内部数据交互频繁,且大量处理线程并行执行,目前已有的动态负载均衡方法和静态负载均衡方法[4]均无法单独适用于本系统。……
登录APP查看全文
