大数据处理流程及存储模式的改进

孙红1,2,郝泽明1,2

(1.上海理工大学 光电信息与计算机工程学院,上海200093;2.上海现代光学系统重点实验室,上海200093)

摘要结合大数据的特点,提出以标签云改进方案来快速识别网络热搜词,同时考虑到传统的数据仓库在查询、存储结构化数据方面的优势,在目前学者提出的数据仓库与Hadoop平台结合的基础上,提出了协作模式中与以往不同的数据迁移方式,即使用数据中间件,并通过相同数量记录导入Hadoop的时间比较,得出文中所提的数据迁移方法较Sqoop方法更具优势的结论。

关键词大数据;数据存储;数据分析;Hadoop;标签云

Research on Processing and Storage Mode of Big Bata

SUN Hong1,2,HAO Zeming1,2

(1.School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,

Shanghai 200093,China;2.Shanghai Key Lab of Modern Optical System,Shanghai 200093,China)

AbstractBased on the characteristics of big data,the paper proposes quickly recognizing top search queries by the tag cloud.It also introduces the advantages of the traditional data warehouse in query and storage structure,and puts forward a different method of data transfer from the traditional ones in the collaboration mode,which is based on the combination of data warehouse and Hadoop platform.The data middle ware is used,and a comparison between the time taken for the same quantity of records to be introduced into Hadoop shows that the method proposed is superior to Sqoop.

Keywordsbig data;data storage;data analysis;Hadoop;the tag cloud

根据国际数据公司(IDC)监测,全球数据量大约每两年翻一番,预计到2020年全球将拥有35ZB的数据量,且85%以上的数据将以非结构化或半结构化的形式存在,大数据时代的到来毋庸置疑[1]。

1大数据概述及发展趋势

1.1大数据的概述

目前关于大数据的定义说法各异,维基百科给出的大数据定义是:利用常规软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集;2011年5月,全球著名咨询机构麦肯锡公司发布了“大数据:下一个创新、竞争和生产力的前沿”,在报告中对大数据的定义进行了扩充。大数据是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。

大数据的特点可概括为4 V[2],即Volume(规模巨大)、Variety(模态繁多)、Velocity(生成快速)和Value(价值大但密度低)。首先,数据集合的规模不断扩大,已到PB级甚至以ZB来计数。……