荀文婧　徐铭明　刘晓峰　张福全

摘要：大气温度和大气湿度在农林、气候、生物化学等领域具有重要意义。为了解光照对大气温度和大气湿度的影响。对传统数据分析方法进行改进，使用数据挖掘工具RapidMiner对大数据进行处理。对南京紫金山地区森林海拔在500米以下的大气温度、大气湿度、光照的大数据进行了研究。利用RapidMJner的Filter Samples等算子对林业物联网数据进行处理，并利用MATLAB软件对三者之间的关系进行关联分析研究，进而研究光照对海拔在500米以下大气温度和大气湿度的影响。

关键词：大数据；物联网：RapidMiner；Filter Samples；Replace Missing Values

中图分类号：TP311.13 文献标识码：A 文章编号：1009-3044（2017）22-0208-04

1概述

随着生活水平的提高，人们越来越注重自己的生活质量。为了出行方便，人们也更加关注天气预报。现在的天气预报会告诉我们当天的最高、最低气温、湿度、气压、风速等信息。气温和湿度等因素影响着人们的生活，因此人们对这两个参数尤为关注。除了日常生活，大气温度和大气湿度在气象、生物等方面也有着重要意义。大气温度是地球大气系统能量和水分循环的关键参数，也是影响土壤呼吸速率变化的关键气象因子，与土壤水分蒸发速率和大气湿度呈极显著正相关。大气湿度的变化在雾-霾转变中也起到了一定作用。除此之外，大气温度和大气湿度也影响着动植物的分布和生活习性。

森林是地球之肺。森林资源不仅是一种物质资源，更是重要的生态资源、旅游资源和环境资源。因此，对森林地区的大气温度、大气湿度、地表湿度等的检测具有重要意义。

就理论而言，大气温度、大气湿度与光照强度、土壤湿度、经纬度等有一定关系。本研究不考虑一些复杂因素，基于南京紫金山地区森林实际测量的海拔在500米以下的大气温度、大气湿度的光照的数据，借助RapidMiner来研究它们之间的关系。

2数据的采集

目前森林物联网在林业资源监管、林业灾害监控及应急响应、生态检测等方面起着重要作用。南京紫金山地区的森林中就使用林业物联网技术来对森林进行检测。在南京紫金山地区森林中，存在着许多个传感器。这些森林中的传感器每隔一段时间会通过互联网向数据库发送数据，包括传感器编号、记录时间、大气温度、大气湿度、地表湿度等信息。在对数据的处理分析中，发现一些大于100%的大气温度数据，这些都是噪声数据。一般在传感器电量不足、无电或者损坏等情况下会传输这些噪声数据。在研究时，必须去除这些噪声数据。传统数据处理方法在处理大数据时效率较低。因此，本研究使用数据挖掘解决方案RapidMiner来处理林业物联网数据。

3数据的处理方法

3.1RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，数据挖掘过程简单，强大和直观。RapidMiner提供数据挖掘和机器学习程序，其中包括数据加载和转换，数据的预处理和可视化，预测分析和统计建模，评估和部署。它是用Java编程语言的。Rapid-Miner提供图形用户界面，用户可以不用编程，通过简单拖拽算子来设计和执行工作流程分析，易于学习和掌握。这些流程稱为RapidMiner“进程”，它们包括多个算子。每个算子执行过程内的单个任务，并且每个输出形成下一个的输入端。同样，引擎可以从其他程序调用或用作应用程序编程接口。各个功能可以通过命令行调用。

3.2Fiber Samples

Filter Samples是RapidMiner最常用的算子之一。它包含了输入和输出两端。将需要处理的数据输入Filter Samples的输入端口，经过处理后Filter Samples会返回一个新的结果集，其中只包含满足特定条件的数据集。这些条件可以是Rapid—Miner预先给定的条件，也可以是用户自己定义的条件。FiberSamples的输出端包括三种端口的输出：输出满足条件的数据集、输出不匹配的数据集和输出原始数据，即原始数据通过此端口传递而不更改输出。Filter Samples算子的结构图见图1。

3.3Replace Missing Values

在分析原始数据时发现个别记录存在数据缺失情况，若对这些缺失值置之不理，将会影响后面研究分析数据的平均值、极差等过程以及研究结果的精确度。为了获得更精确的结果，处理这些缺失值通常采用剔除缺失值或者使用数据替代缺失值的方法。RapidMiner中提供的Replace MissingValues是数据预处理时经常用到的算子，能够解决数据缺失问题。ReplaceMissing Values通过数据替代的方式来处理数据集中所选属性中的缺失值。缺失的数据可以被该属性的最小值，最大值或平均值代替。零或者任何补充的数据都可以放置在缺少数据的位置。ReplaceMissingValues的输出端包括三种端口的输出：输出替换缺失值后的数据集、输出有该算子相关参数信息的预处理模型和输出原始数据。Replace Missing Values算子的结构图见图2。

使用Replace Missing Values处理缺失值的过程如下：

1）选中一个Replace Missing Values算子。

2）在这个算子的参数选项中进行缺失值的设置。

3）attribute filter type的属性有：all、single、subset、regu-lar_expression、value_type、block_type、no_missing_values和nu-meric_value_fiher八种。

①all：处理数据集中的所有属性。

②single：只处理数据集中的单个属性。endprint

③subset：处理数据集中多个属性。

④regular_expression：为属性选择指定正则表达式。

⑤value_type：选择特定类型的所有属性

⑥block_type：选择特定块类型的所有属性

⑦no_missing_values：输出不含有缺失值的属性

⑧numeric_value_filter：选择此选项时，参数面板中将显示另一个参数（数值条件）。

4）在attribute栏选择需要处理缺失值的列。

5）在default栏选择使用最小值、最大值、平均值、零或是补充的数据进行缺失值替换，也可以选择不替换缺失值。使用平均值代替缺失的大气温度数据的详细参数设置见图3。④3.4基于RapidMiner的数据去噪

通过分析传感器发送的数据，发现存在大气温度大于100℃的数据、大气温度24小数内没有变化等有异常的数据，这些都是噪声数据。在传感器电量不足或者损坏的情况下可能会传回噪声数据。在数据预处理时，必须去除这些噪声数据。南京地区，一般最低气温不低于-10℃，最高气温不高于45℃。在Filter Samples中可以创建过滤器，可以非常快捷地对数据进行预处理。在过滤器中设置大气温度≤45℃和大气温度≥-10℃两个条件，即可将高于45℃或低于-10℃的大气温度数据在结果集中去除。

使用Fiber Samples设置过滤条件过程如下：

1）选中一个Fiher Samples算子。

2）在filters中添加过滤条件。

3）添加过滤条件时，先选择一个属性，然后确定其取值范围。

4）给定一个条件数据。

5）可以设定所选属性等于、不等于、小于、大于、小于等于或大于等于给定的条件数据。也可以将这个属性的值设置为空。

6）对于所有添加到filters中的条件，可以选择让查询结果集符合所有给定条件或者符合任一给定条件。如图4，设置大气温度在-10℃到45℃之间。

3.5数据处理

RapidMiner能够自动生成当前结果集中各项数据的最小值、最大值、平均值以及极差。通过Filter Samples我们可以得到大气温度、大气湿度以及光照的日平均值和月平均值。如图5。

4数据的分析

4.1按天分析大气温度、大气湿度与光照的关系

本研究分析了2013年南京紫金山地区森林的大气温度、大气湿度以及光照的数据。利用RapidMiner处理得到按日、按月的大气温度、大气湿度以及光照的平均数据，然后使用Mat-lab畫出图像，建立分析模型。通过图像发现，大气温度、大气湿度以及光照，三者之间密切相关。夜晚，光照为0，大气温度和大气湿度的变化波动不大。白天，大气温度变化和大气湿度变化趋势相反。大气温度变化与光照变化趋势在总体上一致，但是光照变化速率快于大气温度。大气温度和大气湿度的变化趋势一般晚于光照1-2小时。该研究选取了几幅具有代表意义的大气温度、大气湿度与光照的关系图。详见图6到图9。

4.2按月分析大气温度、大气湿度与光照的关系

利用RapidMiner处理数据后发现，春季和秋季夜晚大气湿度变化趋于平稳。白天大气温度、大气湿度变化与冬季和夏季相比，变化较为明显。这可能应为冬夏两季冷暖空气交替变化较频繁，因而导致了早晚温差较大。不同季节的日出日落时间不同。南京地区，冬季白天一般在7：30-17：30，春季一般在6：00～18：00，夏季一般在5：00～19：00，秋季一般在6：30-16：00。光照变化的时间与日出日落的时间有一定的关系。夏季光照最强，大气温度最高，大气湿度相比其他季节略有下降。冬季光照强于春秋两季。用Excel处理得到2013年南京紫金山观测林关于大气温度、大气湿度、光照的关系图，见图10。

5结论

1）在该研究区内，大气温度变化与光照变化趋势在总体上一致，与大气湿度变化趋势相反，时间顺序上不一致。大气温度和大气湿度的变化趋势一般晚于光照1-2小时。光照变化速率快于大气温度和大气湿度。

2）在研究区内，大气温度、大气湿度与光照存在季节特征，一般来说，夏季光照最强，大气温度最高，大气湿度略低于其他季节。冬季光照强于春秋两季。

该研究利用RapidMiner对数据进行处理，研究了海拔在500米以下的大气温度、大气湿度与光照的关系。但是该研究仍有不足之处，一方面，光照受天气变化影响较大，该研究没有考虑天气情况对大气温度、大气湿度以及光照的影响；另一方面，该研究是否具有普遍性，是否适用于其他地区的森林不可知。因此，借助RapidMiner讨论其他森林大气温度、大气湿度、光照的关系是将来研究工作的方向之一。endprint