摘要：电力营销管理系统数据集市的建立基于电力营销大数据处理现状，为了充分发挥大数据平台的服务能力，需要在现有基础上提高各业务域数据资产的价值密度，对业务数据资产进行深加工和产品化，形成全方位、立体化的数据产品，借助数据云对全领域、全业务、全口径数据资产加以管理。电力营销管理系统数据集市提供了资源丰富、质量优良、安全可控、资产透明、应用灵活、管理完善及运营智能的数据服务体系，在营销领域打造出数据集中、服务完善、应用多元、运营高效的数据应用生态圈，创新了营销数据服务模式。

关键词：电力营销;管理系统;数据集市

中图分类号：TP311.52;TM769

文献标识码：A

文章编号：1001-5922（2020）06-0086-04

随着电力企业大数据平台的建设和完善，大数据服务能力持续提升，内外部数据持续汇聚，数据分析服务持续丰富。数据更新频率从日提升到分钟级，具备准实时数据采集、分析的能力。基于数据云建成了大数据平台、数据仓库，可以实现海量数据准实时存储及处理。但是数据的存储还是以分散式为主题，上层数据应用仍然为烟囱式，底层基础数据与上层数据的联系缺少数据集市。数据集市的建立要为持续提升的数据应用提供共享服务，以减少轻度汇总数据、指标、主题的重复建设。此外，当前数据分析应用以定制化为主，服务方式缺乏灵活性，响应周期长，数据价值难以深入挖掘，需要在数据融合的基础上构建丰富的数据服务产品。电力营销覆盖到开展市场域、产品域、电网域、客户域、设备域、服务域等，因此数据集市建设要立足于全领域、全业务的数据处理，实现数据集市主题域数据模型标准的统一，提高业务用户的使用效率，保证分析的灵活性。

1 数据集市的引入

数据集市中的各类数据都是依据“主题”来存储的，主题域包含了与该主题发生联系的信息。用户如果需要访问不同的主題时，要创建基于数据仓库的数据集市。所以数据集市可以理解为“小规模的数据仓库”。数据仓库是建立于企业级数据模型，数据集市归为企业级数据仓库的子集，可以面向不同的部门级与业务级，但仅局限于面向特定的主题。用户借助数据集市可以分析业务问题，数据集合可以面向特定的功能目标。电力企业营销数据集市的建立是基于数据仓库，依据统一化的存储模型，不同级别的营销人员可以依据营销特定的需求实现对数据的处理，最终展现为体现营销特点的数据集合，应用数据集市是对数据仓库功能的深入与扩展。数据集市的本质实现了数据仓库的分布式、交互式，因此体现了数据仓库的主要特性。数据集市的数据源自需要借助抽取、清理、转换和整合才能载人数据集市。数据仓库中的数据性质与功能是保证系统利用价值的基础。因此电力营销管理系统数据集市的结构需要包含数据源层、数据仓库层与应用，不同层次对应着不同的功能，如图l所示。

2 电力营销管理系统数据集市建立应用到的关键技术

2.1抽取数据

抽取数据是进入仓库的前提。数据仓库是相对独立的数据平台，要借助抽取将数据实现联机事务的处理。外部数据源的导人、数据的存储也需要借助数据的抽取。数据抽取技术的应用覆盖到互连、增量、转换、监控等多个环节。数据仓库中数据抽取与事务处理系统需要保持实时的同步，数据抽取需要持续进行，但是不同的抽取操作在执行的持续时间、执行顺序、数据仓库信息的利用存在差异。由于技术的进步，数据抽取涉及到的关键技术已相对成熟，特别是由于数据编程方式的进步，数据集成度的提升，起到了很大的推动作用。本项目中数据抽取技术的应用基于电力营销的数据抽取应用结合了营销业务，面向电力营销大数据平台，不同用户可以选定源数据与目标数据接人营销业务监控系统，会同步生成数据抽取代码，如图2所示。数据抽取工具可以支持多种数据，在数据抽取中可以实现数据的转换，可以与电力营销系统发生密切相关。数据抽取的应用使得用户对于抽取方式加以二次编程，以满足使用要求。数据仓库实施借助了抽取工具。抽取过程由于工具的使用实现有效的管理，数据的维护更加方便。

2.2 数据的存储

数据仓库的应用要解决的技术问题还包括大量数据的存储。由于数据集市涉及一的数据量远高于比传统的数据处理，并且随时间推移，数据会发生累积。从当前技术的应用来看，关系数据库系统的应用可以解决此类问题。关系数据库存储技术经过多年的发展，数据存储和已经成熟，并且也方便数据的管理。电力营销系统建立数据集市可以借助关系数据库系统技术，此技术的应用还可以实现数据的分割，大的数据库可以分散于不同的物理存储单元中，增强了数据管理的扩展能力。关系数据库可以存储管理多样化的数据。

2.3 数据的并行处理

传统模式下的联机事务处理具有局限性，用户对于系统的访问短小而密集。对于多处理系统，需要将不同用户的请求均衡分担，因此需要并行处理。数据集市中，用户对于访问系统体现出多而杂的特点，数据查询与统计较为复杂，另外系统的设计还要考虑到访问的频率。系统要有能力将不同的处理模块调动起来以应用复杂的查询请求，请求借助并行处理可以起到效果。并行处理技术应用于数据仓库体现出优势。当前关系数据库系统对于并行处理方面可以实现查询语句的并行分解、数据分割的并行，还支持跨平台，数据处理可以适应不同的群集环境，可以支持不同的处理机，因而具有了扩展能力。

2.4 决策支持

基于数据开放技术的数据集市要结合决策支持，需要结合电务营销的业务需要功能。不同站点借助管理系统，营销人员可以在站点可以访问营销数据仓库。数据库的共享要保证分布查询处理得以实现，营销管理与数据库加以结合。借助总线与并行处理技术，增强数据库的性能，即保证了吞吐率。数据库的吞吐率可以体现为数据处理能力。依据这个指标可以表明数据共享的线性关系。为了保证数据的共享效果，可以数据精心分片定位于特定站点，以保证共享时查询时并行性。基于数据开放技术的数据库共享基于两个假定，第1保证站点上的计算机具有数据访问权限。对于数据库的管理，可以用数据服务器实现并行处理并赋予权限，以保证数据库的性能。第2针对并行数据服务器要保证分布式数据库处理。数据开放技术支持下保证了数据库的共享效果。数据共享要结合营销服务的业务特点，对数据访问加以改进。数据库的共享要保证数据的全面性与完整性，对于数据的利用要有支持，数据要结合电力营销的常规性业务。

3 电力营销管理系统数据集市建立

电务企业基于营销建立数据集市，要结合营销的需要，建立一体化集成平台，服务要结合企业门户、目录服务与身份认证、信息平台监测系统，如图3所示。数据集市基于大数据平台集群环境为不同部门的营销提供数据服务，包括数据共享、可复用的数据模型、算法服务、数据产品、数据管理等，减少传统应用开发存在的“烟囱效应”。系统支撑大屏监控、专题分析、即席报表等各类型前台应用的快速构建和灵活调整，实践“大中台、小前台”的作用。

3.1 营销数据的应用场景

能够面向实时分析场景、明细查询场景、外部取数场景、即席统计及可视化分析场景、大数据量即席统计及数据分析场景、数据挖掘场景、数据理解及推荐场景等使用场景，提供明细数据、轻度汇总数据、高度汇总数据等服务。还可以实现不同粒度数据的离散指标、聚合主题分析、实时计算、准实时计算、离线计算等多种功能。平台可以基于逻辑模型的即席计算、基于数据立方的数据查询。

3.2 实时分析场景

结合大数据平台可以实时采集数据，借助流计算工具可以完成实时数据的采集，并基于大数据分析工具分析营销实时数据，可直接服务于自助。可视化工具构建可以分析实时业务，监控应用，亦可通Web-Service、Rest等技术接口为其他业务提供数据服务支撑。

3.3 明细查询场景

基于大数据平台进行HDFS、HIVE、HBASE等多种形式的数据存储，基于数据分析工具实现了可视化数据集的构建、SQL数据的集构建。依据业务查询条件可以实现多种数据的查询，构建出营销明细查询服务，基于自助化工具构建的营销明细数据查询还可以通过大数据分析工具的WebService、Rest等技术为其他业务提供数据服务支撑。

3.4 外部取数场景

业务系统可以实现营销数据的临时取数应用，通过大数据分析工具的可視化数据集构建、SQL数据集构建进行相应的数据集服务，对接入到大数据平台HDFS、HIVE等存储数据进行组织和脱敏处理，通过大数据分析工具的WebService、Rest等接口为其他业务提供数据服务支撑。

3.5 即席统计及可视化分析、数据挖掘、数据理解及

推荐等使用场景

基于大数据分析工具对大数据平台HDFS、HIVE等服务上的数据进行组合，根据业务需求梳理可能用到的统计分析、自助可视化分析需求和维度、常用参数。构建营销业务主题集市可直接通过大数据分析工具依据业务主题构建业务主题，并基于大数据分析工具的自助可视化、空间可视化等图形化工具进行数据探索，亦可通过大数据分析工具的WebService、Rest等接口为其他业务应用提供数据服务支撑。

4 系统功能的实现

4.1 实现营销数据集市的数据资源集中化

营销数据集市在数据资源层面，能够通过数据缓存层、数据整合层、数据汇总层、数据集市层等数据架构分层的构建，实现营销全口径原始数据、跨域数据整合、各维度指标汇总及专题分析等功能，实现数据资源的全面集中;能基于数据云的数据采集工具、数据存储工具、数据计算引擎、数据分析工具、应用开发工具、数据管理工具等实现数据集市构建、应用、管理及运营技术工具的集中;能够通过统一的数据清洗、转换、公共指标汇总、个性指标构建、基于主题的指标聚合等功能实现数据汇总、计算、存储的集中。

4.2 实现营销数据集市数据资源规范化

能够通过数据清洗、转换、整合、汇总、分析构建统一的数据命名规范、数据定义标准、数据质量治理流程、数据整合，保证了汇总模型、指标和主题定义模型的规范化，实现数据资产及数据服务的规范化，为数据的跨域协同提供了统一的标准，为用户提供干净、透明、统一的数据视图和数据资源，提升了数据质量，保证了协同的一致性。

4.3 实现营销数据集市的产品化

营销数据集市面向营销实时分析、清单查询、主题分析、数据挖掘等多种类型应用场景，可以进行数据服务能力的封装，统一构建数据服务产品，并结合元数据管理规范进行数据的标签化处理，通过数据目录实现数据服务的地图化呈现，基于常用数据分析场景构建出数据服务场景化模板，实现数据可视化、产品化;可以提前完成数据采集、处理、计算等加工过程，面向常用业务提前构建了各类型的数据服务，保证了业务指标、专题服务的复用性，支持终端用户通过搭积木的方式进行选择数据服务产品，缩短了数据应用的开发周期，同时支持数据应用的快速响应和灵活调整，降低了试错成本。

4.4 提供营销数据集市的主题式服务

能够面向营销领域分析业务，以同类业务分析需求为导向，将营销域数据资源中属于同一个分析领域的若干表或将表中的字段组合在一起，梳理可能用到的统计分析，利用自助可视化工具分析需求，对分析的指标、业务特征加以标签，并按业务分析的关键视角进行分类和业务语义化处理，构建统一的主题视图。通过将几百张源表转化为几张表（数据产品），同时按照业务习惯进行数据的重组，规范数据的业务语义，利用开发工具在业务主题中选择需要分析的数据字段和分析维度，即可快速进行上层数据应用的构建和探索。

5 结语

营销域数据集市构建是基于大数据平台，对各业务域数据资产进行深度融合与协同共享，通过数据产品化的方式，构建数据云上的中台数据集市层，建立资源丰富、质量优良、安全可控、资产透明、应用灵活、管理完善、运营智能的数据服务体系。营销域数据集市的构建，实现了营销全口径数据的采集和管理。

参考文献

[1]李敏强，潘振江，基于数据仓库技术的决策支持系统的研究与应用[J].天津大学管理学院学报，2001，15（11）：108-109.

[2]何涛.小议云南电力营销信息系统的建设[J].云南电力技术，2001，29（1）：69-70.

[3]黎锁平，李娟，基于数据仓库的DSS的结构体系及开发[J].莱阳农学院学报，2000，17（1）：67-70.

[4]俞文彬，谢康林，张忠能.基于数据仓库的决策支持系统框架研究[J].上海交通大学学报，2000，34（6）：810-812.

作者简介：江疆（1982-），男，汉族，湖北黄石人，工学博士，工程师，主要从事电力数据分析系统开发与管理工作。