APP下载

大数据和数据挖掘技术在智慧环境监测中的应用研究

2021-09-13韩立李兰秀张明伟吴丽英

无线互联科技 2021年10期
关键词:数据挖掘环境监测大数据

韩立 李兰秀 张明伟 吴丽英

摘 要:文章从智慧环境监测产生的海量原始数据入手,提出一种基于大数据获取、存储、管理、分析的智能监测分析方法,并通过聚类算法、关联特征挖掘环境保护中的隐含信息,旨在更好地发挥环境保护的作用,提升环境监测管理的水平,促进环保事业的发展。

关键词:大数据;数据挖掘;环境监测;智能决策

0    引言

随着社会经济的快速发展,不可避免地带来了环境的恶化,影响了人民的生活质量。十九大报告中将生态文明建设提高到前所未有的高度,“十四五”关于环保方面提出加快推动绿色低碳发展。持续改善环境质量,增强全社会生态环保意识,深入打好污染防治攻坚战。由此可见,环境监控行业受到越来越多的重视,对环境进行监测和保护已经刻不容缓。环境监测工作是环境保护工作中不可或缺也是极为基础的一部分,对于环境管理有着十分重要的意义。对于环境监测工作而言,环境监测数据是其中十分重要的一项内容,它对于所有的环境决策都有着指导性的作用。对环境大数据进行分类、存储、分析并进行传输和深度挖掘,找出其中的隐含信息,给用户及环保部门提供智能决策支持,这是比较难的深度课题。

1    大数据和数据挖掘在智慧环境监测中的重要性

信息化的发展现代智能化的需求促使大数据和数据挖掘技术的产生。随着环境问题日益突出,环境监测数据不再是对单个或者某一类型的数据进行处理,智慧环境监测采集的原始数据类型多样,且具有实时性和动态性,环境管理历史数据来源渠道广阔,格式不统一,时效性强,数据比较分散,区域性强,环保工作人员对数据的需求越来越高,传统的信息分析与预测方法不能对大量复杂的环境信息进行深层次分析,传统的信息管理模式已不能满足环境管理工作对信息处理的需求,大数据能够为环境监测与优化治理提供全方位的数据资源支持,把格式复杂的数据格式转换成统一的数据格式[1],构成环境监测档案并进行储存保管,可以实时查询及监控查看,对所有环境信息了解工作需求,明确工作问题,定位解决问题。可以将历史数据与当前数据结合处理,存储,分类,分析和处理,不断生成新的数据资源库,可以提高效率,质量,促进各部门的共享,具有较高的应用价值。数据挖掘技术可以突破传统意义上单调的监测工作形式,科学探索所在地区的大气环境数据趋势,可以对大量环境数据进行分析,利用聚类分析、关联规则从中发现未知的隐含的,对决策有用的潜在信息,为其提供智能的决策支持,制定相应的方案,及时响应交解决各类问题,提高的工作效率。

2    大数据和数据挖掘

大數据(Big Data)是一个专门应对大量数据的领域,把大量的数据收集到一起,形成数据的集合,特点是数据量大、结构复杂、自动收集数据、自动存储和更新,实时性强,是一种在获取、存储、管理、分析等方面大大超出了传统数据库软件工具能力范围的数据集合。数据挖掘(Data Mining)属于数据分析的一部分,把对从未处理过的、大量的数据中每一个数据的探索和分析,从中进行关联分析等提取隐含信息的一种过程,把大数据的价值挖掘出来,给决策者提供智能支持,主要有数据准备、规律寻找和规律表示3个步骤。

3    数据仓库与数据挖掘

数据仓库是为了支持复杂的分析和决策以提高分析效率,将数据从不同的位置不同区域组织在一起的一个过程,能够及时、准确、合理的对环境进行调查和分析,所获取的数据必须地标准化、动态化的管理,把所研究地区的生态环境进行调控和检测,实现多部门共享的目的,从而为该地区的生产和发展提供有效的支持与服务,数据仓库三层,即分段、集成和访问。

数据挖掘是数据仓库的一种重要运用,数据仓库与数据挖掘技术二者相结合,以当前环境信息系统为基础,并充分利用历史数据,对环境决策支持系统模型进行实时监测和分析,包括系统的逻辑层次、数据架构和功能模块、数据的多维度、多层次的查询和分析深入分析,能更好地挖掘潜藏在数据中有价值的信息[2]。

4    基于大数据和数据挖掘的智慧环境监测模式

4.1  实现实时监测与即时响应

实时监测与即时响应是智慧环境监测中最基本的功能,是基于计算机网络技术实现的,是用于实现现场监测与反馈的环境监控功能,环境监测与治理的关键在于对环境数据的搜集、分析与处理,全方面采集信息的大数据和对采集原数据再加工和再分析必须运用现代化信息技术,借助大数据在环境监测中的应用,可对环境监测数据进行合理分类,以图像、数据库的模式进行实时展示,在环境数据统计管理中发挥重要作用。大数据分析可以做到对所有更新的实时数据进行即时响应[3],一旦出现环境中某个值超标,即可进行即时响应并进行相应的处理,建立能够实现后台数据资源的不断更新与前台查询、分析和处理的即时相应的关联系统。

4.2  通过分析数据预测大气环境

大数据技术的应用可以显著提高大气环境预测的准确性,可以在短时间内对大量信息做出非常准确的判断[4]。将大量的信息在平台上充分地联系在一起,根据各种需要结合数据之间的关联和变化特点进行总结分析,并获取有效的预测,提升数据分析的效率,从中预测未来城市的大气环境变化,以此为各行各业及人们的出行提供有效依据,利用数据挖掘技术将隐性的信息显性化,通过图表、数据参数、数据查询等综合形式展示给用户,提升环境监测管理水平,促进环保事业的发展。

4.3  构建科学完善的环境监测预警体系

环境监测预警体系能够全面反映环境质量状况和变化趋势,是做好环保工作的根本保证,通过数据挖掘技术可以建立完整先进的环境监测预警体系,应对未来各种环境污染,满足环境管理的要求,为环境保护服务。

预警系统的建立,包括接近临界值的预警和达到临界值的报警,关键预警临界值的界定,通过关联算法对监测环境数据进行分析,分析出环境数据之间的关联关系,选定合理的临界值,科学探索所在地区的大气环境数据趋势智能预警、报警。将获得的预警监测因子的数值与预警监测因子的临界值进行对比,满足一个或者多个报警条件时,系统通过短信、电子邮件等方式向用户、管理员等发出警报,通知其及时采取应对和处理措施。报警功能包括设备故障,环境异常,电源断电等,对事件进行应急处置,首先确定事件的各类,同时根据风险的对象和等级提出相应的应急措施。通过系统的运行,可以检验预警和报警临界值设定,将数据加入到环境监控数据仓库,形成临界值数据,以备后续进行深度数据挖掘,为以后应急方案提供参考[5]。

首先,对数据仓库中形成的各种海量数据进行分析,获取超阈值因子及其参数。将超阈值参数及发生风险事件的坐标输入分析模型及模型耦合系统,进行模拟预测,获得影响模型,在影响模型中对风险事件进行风险分析,对超阈值因子及其数值进行分析,获得风险监测因子,即确定对风险产生影响的各种参数,通过分析各参数对风险的影响程序的不同,确定各参数的风险权重,给参数附加风险权重后,计算出含风险权重在内的风险等级数据,通过对比风险等级数据,确定风险等级,发出等级信号。其次,依托环境大数据建立预警机制,能够让环境治理变得更具精确,有效规避环境治理风险,从全局的角度出发把握环境发展趋势,提前发现环境问题并做出相应对策。

4.4  数据共享提供智能决策支持

智能决策的前提是监测环境大数据的共享,形成基于云计算环境大数据信息资源库,创新思路提升大数据技术的应用价值,利用数据挖掘技术建立服务模型,通过对所有的数据进行分析和整理,预估其中的风险,寻找规律,建立关联,从而建立云环境下数据的探索和分析结构,对其合理开发,优化配置,可实现全面智能化检测,精准化管理,反馈后可实现即时响应,远程监控和诊断,从而实现环境的可持续管理,为环境监测与治理提供更加科学合理的决策,推进对环境大数据资源的全面融合[6]。

环境监测海量数据形成数据仓库,利用大数据技术进行获取、存储、管理和分析,改变了传统的环境监测管理方法,可以提升环保工作的效率与质量,提高信息管理水平,提升监测与预测工作的科學性和完善性,为政策的制定提供科学的理论支持;通过聚类分析、关联规则等方法对环境数据进行深度数据挖掘,为环境监测数据监管工作提供新的思路,可以实现实时监控、智能预警、环境预测等智能决策支持,对环境执法部门与监测有着重要的促进作用,为环境管理提供智能决策支持,推进环境评测工作的精准性。

[参考文献]

[1]贾俊乾,张帅.大数据技术在环境监测中的应用探讨[J].资源节约与环保,2018(3):86-88.

[2]陈志泊,韩慧,王建新.数据仓库与数据挖掘[M].北京:清华大学出版社,2009.

[3]李立.环境空气监测数据分析及处理方法[J].环境与发展,2019(1):162-163.

[4]李璐.大数据技术在环境监测中的应用研究[J].环境与发展,2018(6):169.

[5]朱习文.环境保护大数据应用技术分析与研究[J].科学技术创新,2018(23):75-76.

[6]林选福.大数据技术在环境监测中的应用[J].环境与发展,2018(7):123-124.

(编辑 姚 鑫)

猜你喜欢

数据挖掘环境监测大数据
环境监测系统的数据分析与处理
大气污染问题的环境监测
基于并行计算的大数据挖掘在电网中的应用
基于大数据背景下的智慧城市建设研究
对环境监测数据造假必须零容忍
便携式GC-MS在环境监测中的应用
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究