宋子涛，张秋霞，郭大亮，陈义学，莫文涛，于楚凡

摘 要：随着信息化时代的到来，网络通信能力的提高，数据采集也有了多种方式。环保数据作为常用信息载体，数量在急剧增加中，处理数据的技术还停留在基础阶段。在此背景下设计了基于Hadoop的环保数据采集平台。该平台是基于Hadoop框架，配合子项目Hive和HBase，完成全面的数据分析支持。采用PIC18F8722单片机为核心组件，对传感器收集到的数据通过GPRS无线网络上传，利用CLARA聚类算法对数据进行整合归类，最后通过数据节点完成对数据的储存、备份过程。

关键词：Hadoop;数据采集;CLARA算法

中图分类号：TP274+.2;TP311.13 文献标识码：A 文章编号：1001-5922（2021）12-0168-05

Design of Electric Power Environmental Protection Data Collection Platform Based on Hadoop

Song Zitao1， Zhang Qiuxia1， Guo Daliang2， Chen Yixue1， Mo Wentao1， Yu Chufan1

（1.State Power Investment Corporation Central Research Institute， Beijing 102209， China;

2.State Power Investment Corporation Limited， Beijing 100029， China）

Abstract：With the advent of the information age， the network communication capability is improved， and the data collection has a variety methods. As a common information carrier， the number of environmental protection data is increasing rapidly， but the data processing technology is still in the basic stage. Therefore， an environmental protection data collection platform based on Hadoop is designed， which is based on the Hadoop framework and cooperates with the sub-projects Hive and Hbase to provide a support for comprehensive data analysis. Using PIC18F8722 single-chip microcomputer as the core component， the data collected by the sensor is uploaded through the GPRS wireless network， and the CLARA clustering algorithm is used to integrate and classify the data. Finally， the data storage and backup process are completed through the data node.

Key words：Hadoop; Data collection; CLARA algorithm

0 引言

环保数据量大而种类繁多，为更好的分析统计环保数据，有很多专家学者提出各种研究方向，如牛健等提出的环保工况监控系统的架构设计研究;李长杰等提出的基于AIoT的智能环保监控管理系统开发及其在高速公路网中的应用，为环保数据的处理提供了方向。为更好的存储、分析环保数据，在前者的研究基础上设计了基于Hadoop的环保数据采集平台。该平台利用PIC18F8722单片机为核心，完成数据的采集和上传工作。利用CLARA聚类算法对数据进行分类处理，最后通过Hive、HBase对数据进行存储、读取、查询工作。并且该系统运用文件分割方式，将文件分割的数据块存储于数据节点并进行，有效避免了数据的丢失。

1 数据采集系统设计

1.1 数据采集系统硬件设计

系统硬件部分主要由PIC18F8722单片机、4种传感器及GPRS无线传输模块构成。传感器采集的数据进入系统后，通过无线网络上传至数据中心，数据中心对数据进行处理和存储。……