面向大数据的内存计算技术研究∗
2018-12-09张伟
舰船电子工程 2018年3期
张 伟
1 引言
随着物联网、云计算、人工智能等技术的高速发展,这些技术的发展都离不开大数据技术,大数据技术几乎成为新时代各个领域的研究基础。大数据具有数据体量巨大、数据类型繁多、价值密度低、数据增长速度快、以及高时效性等显著特征,针对大数据的诸多特点,需要建立大数据处理生态体系,包含数据采集、数据存储、数据管理、数据抽取与转换、数据查询与分析、数据聚合、数据表示等多个层面,并对大数据的处理提出了高可扩展、高可靠、高性价比、高适应能力的需求。此外,如今的AlphaGO、无人驾驶、智能机器人等新型实时型大数据应用对于实时、交互式分析等需求提出更高的要求。
然而,以计算为中心的系统架构难以有效应对新型实时型应用对于实时、交互式分析的复杂业务诉求。同时,大数据所表现出的高速增长、体量骤增、数据类型差异大等特点,进一步加剧了以计算为中心的传统计算模式所面临的内存容量有限、I/O压力大、缓存命中率低、并发控制困难、数据处理总体性能较低等诸多问题,难以取得性能、能耗与成本的最佳平衡,使得目前的计算机系统无法处理PB级以上的大数据。总的来看,大数据是一种以数据为中心的数据密集型技术,现有的以计算为中心的技术体系难以满足大数据的应用需求,急需一种以数据为中心的计算架构以满足大数据处理的需求。
随着新型非易失性存储器件的快速发展和成本的不断降低,客观上为以数据为中心的大数据处理模式提供了新的思路。……
登录APP查看全文
