面向国产处理器大数据一体机的基因压缩技术研究
2020-12-02陈国良尧海昌吴梦雪方厚之孟朝霞刘尚东王汝传季一木
陈国良,尧海昌,2,陈 帅,吴梦雪,方厚之,法 虎,孟朝霞,刘尚东,王汝传,季一木,3,4,5
(1.南京邮电大学 计算机学院,江苏 南京 210023 2.南京工业职业技术大学 计算机与软件学院,江苏 南京 210023 3.南京邮电大学 高性能计算与大数据处理研究所,江苏 南京 210023 4.国家高性能计算中心南京分中心,江苏 南京 210023 5.江苏省高性能计算与智能处理工程研究中心,江苏 南京 210023)
大数据时代已经来临,如何以更低的成本实现海量数据的存取和处理已成为大数据应用的重大挑战。为了普及大数据的推广和应用,解决大数据时代基础设施的海量存储、持续扩展、运维部署、数据个性化处理等问题,大数据一体机应运而生。大数据一体机是集成了计算设备、存储设备、网络传输、操作系统、大数据处理平台以及数据分析处理软件于一体的大数据处理设备[1]。大数据一体机简化了IT基础架构,提高了硬件资源利用率,减少了投资采购成本、部署成本、设备能耗和运维成本。目前,国内外主流服务器和数据库厂商相继推出了一系列大数据一体机,其中,国外的包括Teradata、Oracle Exadata、IBM Netezza和EMC GreenPlum等,国内主要有华为FusionCube一体机、浪潮云海大数据一体机和曙光XData大数据一体机等。但是这些大数据一体机都是基于国外X86处理器的,时刻面临某些国家“卡脖子”的威胁,也不能保障数据安全。因此,为了满足大数据底层硬件设施及上层应用软件自主可控的需要,我国亟需研制基于国产处理器的大数据一体机及其应用。
基于国产处理器的大数据一体机体系结构如图1所示,从下至上可抽象为三层:硬件层、软件层和应用层。……
