◆唐培全 戴小佳

（1.华能山东发电有限公司 山东 250014；2.华能山东发电有限公司八角电厂 山东 264006）

1 大数据技术的应用背景

目前的大数据技术包含了基于数据收集、数据储存、数据清洁、数据挖掘和基于数据模型等。其中，数据收集主要应该包括两个部分。一方面，使用网络爬虫这一手段把出现在网络和移动设备上的各类信息都收集了起来，并且有效地对这些信息加以了管理。另一方面，使用不同类型的传感器，收集各种行业的数据。数据存储就是按照系统规定的形态来收集所需要的数据，例如物理和实测信息。

显而易见，互联网技术取得了很大的进步并且仍在进步当中，这就导致了在世界范围内的数据量已经增加到很庞大的地步，我们的生活的变化可以用天翻地覆来形容。目前大数据处理方法常用的大数据技术有Spark、Hadoop 以及MapReduce。大数据技术在分析数据集背后隐藏的信息时，通过机器学习等方式带来了很大的商业价值。

大数据技术有很大的作用，目前的大数据技术包含了基于数据收集、数据储存、数据清洁、数据挖掘和基于数据模型等。其中，数据收集主要应该包括两个部分。一方面，使用网络爬虫这一手段把出现在网络和移动设备上的各类信息都收集了起来，并且有效地对这些信息加以了管理。另一方面，传感器的使用，尤其是在各种传感器类型的发展下，对不同行业内数据的收集起到了正向的促进作用。在对数据存储工作时，大数据的发展可以在庞大的数据内按照系统所规定的方式收集需要的大量数据，比如对物理和实测信息的收集。……