郭天宇

（山西省水文水资源勘测总站，山西 太原 030001）

0 引言

网络信息化发展速度快，数据信息日益增加，通过大数据能够让数据信息得到高效的分类和采集，在多种算法的支持下预测信息发展的主要趋势。目前人们的生活用水以地下水为主，通过地下水水质和水位监测工作可以保障监测的信息化水平并提升监测数据的精确度，本文将以地下水监测为主要切入点分析大数据技术的应用策略。

1 大数据技术的信息处理

1.1 数据采集和预处理

数据采集本身是从传感器或社交网络数据库当中采集不同结构和非结构化数据的过程，而大数据时代下种类繁多的数据在实际应用的过程当中会表现出不同的类型和格式，随着企业内容和交易应用数据等新的数据源出现，越来越需要通过有效信息保障安全性和真实性。云计算作为大数据实现的主要方式，将有效完成数据的导入处理和分析、挖掘等过程。某些企业部门和平台会涉及自身的传统数据管理系统，并将数据存储到这些数据库之内，例如sqoop或是Kettle等，使用这些工具都可以和主流数据库进行交互，并且将数据同步到分布式数据库存储。

在数据预处理方面，由于预处理在整个流程当中占据了至关重要的作用，所以为了减少不同数据源数据引起的冗余或冲突问题，我们需要对干扰数据或干扰噪声进行清理，必要时在保证数据准确性的情况下进行大规模精简压缩。

1.2 数据存储管理

大数据的主要特征在于数据量最大，且收集来的数据源各不相同，任何的分布式系统都有着很高的可靠性，常用的数据库也可以避免单点故障造成的数据丢失问题，完成高性能的数据分析任务。……