基于MapReduce的气候数据的分析的设计与实现

2020-08-21刘兆丰

数码设计 2020年3期

刘兆丰

摘要：在社会的发展过程中，天气对社会中的很多行业都有一定的影响。在当前阶段，天气预报作为全球主要对天气进行预测的手段，在这种情况下，全球的气候行业也产生了大量的数据（PB级别），并且数据每年还在持续的增长。为了解决使用传统的关系型数据库很难存储与分析的问题，需要采用大数据的相关技术对气候数据进行分析。

本设计采用MapReduce生态圈的一系列的工具，通过使用虚拟机的平台，采用爬虫软件进行数据爬取的方式，用Map阶段和Reduce阶段的数据分析，分布式系统的数据存储的方法，实现气象数据的采集分析，并且将其展现出来的方式展示。使用这系列流程的系统可以辅助有关部门或企业进行决策部署。

关键词：MapReduce;气候数据;大数据;计算机

中图分类号：P41文献标识码：A文章编号：1672-9129（2020）03-0047-03

Abstract：Intheprocessofsocialdevelopment，weatherhasacertainimpactonmanyindustriesinthesociety.Atthecurrentstage，weatherforecastingisthemainglobalweatherforecastingtool，andinthiscontext，theglobalclimateindustryalsoproducesalargeamountofdata（petabytes），andthedatacontinuestogroweveryyear.Inordertosolvetheproblemthatusingtraditionalrelationaldatabaseisdifficulttostoreandanalyze，itisnecessarytousebigdata-relatedtechnologiestoanalyzeclimatedata.

ThisdesignadoptsaseriesoftoolsofMapReduceecosystem.Throughtheuseofvirtualmachineplatform，crawlersoftwareisadoptedfordatacrawling，dataanalysisinMapstageandReducestage，anddatastorageindistributedsystem，meteorologicaldatacollectionandanalysisarerealizedanddisplayed.Systemsthatusethisseriesofprocessescanassistdepartmentsororganizationsintheirdecisionmakinganddeployment.

Keywords：MapReduce;Climaticdata;Bigdata;Thecomputer

1数据采集

1.1在线API数据获取。此模块的实现分为两大部分：在线API数据获取与数据分析。这里通过在特定网站提取天气数据：

StringbaiduUrl="http：//api.map.baidu.com/telematics/v3/weather？";

publicstaticvoidmain（String[]args）throwsIOException{

URLurl=newURL（baiduUrl）;

URLConnectionconn=url.openConnection（）;

while（reader.readLine（）！=null）{

StringBufferstr=newStringBuffer（）;

str.append（url+""）;

这里此设计将使用百度天气作为提取的天气数据的来源。通过链接的方式，天气网页url转变成字符流，通过粘贴的方式将所获取的数据写入进stringBuffer中。

1.2数据处理。