大数据技术在电力招标采购分析中的应用
2018-10-21周欣
名城绘 2018年9期
周欣
摘要:随着很多高新技术的进步与发展,比如说大数据、云计算、社交网络、移动通信以及大数据等新兴的信息化技术正在逐渐渗透到各行各业中。其中电力企业作为我国技术密集型与资产密集型的典型行业代表,数据量正在迅猛增长。信息技术已经在生产、基建、办公、经营、管理等多个领域全方位覆盖。
关键词:电力信息化;电力招标采购;大数据;数据分析
1 大数据分析基本方法
1.1 数据统计 / 分析
通过统计与分析实现满足大多数的用户需求,其中一些实时性要求较高的需求经常采用 Oracle Exadata、EMC GreenPlum、以及基于 MySQL 的列式存储Infobright 等工具方法。一些批处理操作或者基于半结构化数据的需求则可以使用 Hadoop 工具进行统计与分析,大数据的统计和分析的主要特点和挑战在于涉及的数据量大,进行计算分析时其对系统资源,尤其是 I/O 的并发要求非常高。本文使用的主要统计和分析地方法如下:(1)数据 ETL:收集来自信息系统的历史和实时数据,转为特定格式后导入分析平台的存储模块。(2)分类统计:用简单的归纳和数学统计的方法整理历史上的既有数据生成报表等内容。(3)多维分析:维即分类统计的基本元素,一般为一条记录中的一个字段,多维分析是指组合多个维,并对他们进行分析操作,如缩放单位尺度,选取特定范围等。
1.2 数据挖掘
与统计和分析最大的不同在于数据挖掘往往没有预先设定好的内容范围,其主要突出现在数据层面上进行的基于各种算法的计算和分析,从而实现预测的效果,并作为一些高级别数据分析的凭证和基础。……
登录APP查看全文
