APP下载

面向大数据的内存计算技术研究∗

2018-12-09张伟

舰船电子工程 2018年3期
关键词:数据处理数据库

张 伟

1 引言

随着物联网、云计算、人工智能等技术的高速发展,这些技术的发展都离不开大数据技术,大数据技术几乎成为新时代各个领域的研究基础。大数据具有数据体量巨大、数据类型繁多、价值密度低、数据增长速度快、以及高时效性等显著特征,针对大数据的诸多特点,需要建立大数据处理生态体系,包含数据采集、数据存储、数据管理、数据抽取与转换、数据查询与分析、数据聚合、数据表示等多个层面,并对大数据的处理提出了高可扩展、高可靠、高性价比、高适应能力的需求。此外,如今的AlphaGO、无人驾驶、智能机器人等新型实时型大数据应用对于实时、交互式分析等需求提出更高的要求。

然而,以计算为中心的系统架构难以有效应对新型实时型应用对于实时、交互式分析的复杂业务诉求。同时,大数据所表现出的高速增长、体量骤增、数据类型差异大等特点,进一步加剧了以计算为中心的传统计算模式所面临的内存容量有限、I/O压力大、缓存命中率低、并发控制困难、数据处理总体性能较低等诸多问题,难以取得性能、能耗与成本的最佳平衡,使得目前的计算机系统无法处理PB级以上的大数据。总的来看,大数据是一种以数据为中心的数据密集型技术,现有的以计算为中心的技术体系难以满足大数据的应用需求,急需一种以数据为中心的计算架构以满足大数据处理的需求。

随着新型非易失性存储器件的快速发展和成本的不断降低,客观上为以数据为中心的大数据处理模式提供了新的思路。……

登录APP查看全文

猜你喜欢

数据处理数据库
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
数据库
数据库
数据库
MATLAB在化学工程与工艺实验数据处理中的应用
数据库
数据库
基于POS AV610与PPP的车辆导航数据处理
依托陆态网的GNSS远程数据处理软件开发