APP下载

数据驱动世界论产业体系与生态环境建设

2016-01-06高巍杨小麟

中国信息化周报 2015年50期
关键词:数据处理数据库体系

高巍+杨小麟

在信息时代,随着数据量爆炸性的增长,数据处理和数据利用的发展达到了前所未有的新高度。大数据、云计算、移动互联网等新兴技术的产生,催生并激发了新技术新企业对传统行业的变革。我们清醒地看到:从科学、医疗、商务、娱乐、电子政务等领域都将凸显数据驱动应用的作用。大数据带来的挑战

大数据将不仅仅是一种海量的数据状态及其相应的数据处理技术,更会成为一种思维方式,一项重要的基础设施。 2016年及更远的将来,数据库在分布式计算和分布式存储、结构化和非结构化、传统的联机事务处理与联机分析处理(OLTP&OLAP)之外,将有更多的挑战主导大数据领域技术和商业模式的发展。

编程模型及其语言

大数据时代我们需要一种编程语言能够根据数据的结构化或半结构化的特点进行分析、处理以及类型检查;工业制造(机器人)能够根据数据内容,通过感知大数据系统结构特点来优化性能。

容量问题

系统软硬件的可伸缩性(scalability)受到挑战,单靠提速扩容无法应对大数据处理的需求。大数据突破了线性期望,催生了从不断增加存储容量来满足数据增长的Scale-UP(纵向扩展)到增加包含容量、处理能力和I / O带宽的节点的Scale-OUT(横向扩展)的变化。

数据处理流程发生变化

在“生成”和“粗选”阶段,我们需要基于可信度量的预处理;需要从传统面向查询的组织存储转向面向分析和挖掘的存储;在“挖掘”、“应用”阶段,需要大规模并行、实时分析挖掘。……

登录APP查看全文

猜你喜欢

数据处理数据库体系
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
构建体系,举一反三
数据库
数据库
数据库
数据库
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
基于POS AV610与PPP的车辆导航数据处理
“三位一体”德育教育体系评说