APP下载

海量数据分析及处理算法实现

2011-04-13朱德新宋雅娟

长春大学学报 2011年8期
关键词:数据处理数据库文本

朱德新,宋雅娟

(长春大学 计算机科学技术学院,长春 130022)

0 引言

随着互联网的飞速发展,尤其是近几年来人们所掌握的数据量爆炸式增长,如何高效的处理海量数据已经得到了全世界的广泛研究。海量数据是一个形容词,它是用来形容空前浩瀚的、巨大的数据。现在很多业务部门都需要操作海量数据,如水利部门水利的数据,规划部门规划的数据,气象部门气象的数据,这些处理的数据量都非常大。它包括各种报表统计数据、空间数据、声音、文字、超文本、图像等各种环境和文化数据的信息。而这些数据又具有相当高的使用价值,高效合理地使用这些海量数据,不仅可以掌握更多用户潜在的需求,同时还可以为满足人们更多需求而开发出更好的应用。然而当人们面对具有如此庞大而且信息量继续爆炸增长的数据,想要非常高效的利用这些海量数据时才发现困难重重。在网络时代,如何对海量数据进行操作,这样越来越多的挑战需要靠卓越的算法来解决。

1 海量数据的存储

数据中蕴含着企业的财富,但是因为数据量的增长速度过快,所以首先在客观上逼迫企业必须实施海量存储的解决方案。在这个阶段过程中很多企业已经完成方案,或者正在实施。目前,各个企业对文件型数据推出了不同的存储方案,而采用文件服务器进行文件数据存储的仍然占据最多数,在总体企业中占据32.9%比例;应用服务器内置存储空间存……

登录APP查看全文

猜你喜欢

数据处理数据库文本
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
数据库
数据库
数据库
数据库
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用