孙 钢 王庆娟 沈艳阳 陈千羿

（国网浙江省电力有限公司）

0 引言

电网公司提出建设新型电力系统和“加快营销数字化转型，以数字化、智能化驱动营销精益化管理，提升营销作业效率和全要素生产率”的工作部署。因此，如何加快推进电力营销业务的数字化、智能化和自动化，满足企业高效运营的需求，成为各电力公司探索的重要方向。

电力智能营销系统作为全面支撑营销战略落地、业务运行监测、管理决策分析的数字化平台，有着业务范围广，应用场景多，迭代要求高等特点。但是现阶段的电力营销智能系统存在两类主要问题：一方面，普遍缺乏系统性能的测量方法。虽然针对人类能力的的评价方法在社会学中的研究已经非常成熟，但这些方法并没有考虑人工智能系统的特点和发展水平，相关方法与理论应用于智能系统还需进一步的研究。另一方面，电力营销系统自上线后尽管应用成效显著，但缺少合理的系统性能评价体系，随着系统用户需求的多元化，亟需科学的评价维度指导营销智能系统优化提升。因此，建立科学的测量模型，量化评估实际应用效果，精准指导智能升级，实现营销大脑业务上的精准迭代、创新优化成为重中之重。

本文在此背景上，旨在提供智能营销系统的优化路径，通过建立科学的电力营销智能系统测量体系，将目前电力营销系统的运行情况从不同层面进行量化研究，结合定量与定性结合的方法，以构建电力营销智能系统的评价模型。同时，为其他智能系统评价实践提供一些参考。

1 电力营销数智系统评价体系构建流程

综合的评价体系可以从多角度、多层次反应被评对象各项性能优劣的一系列指标，作为一个模型框架，其确立过程包括各级指标项目和整体指标框架的确立。具体步骤包括：确立评价目的、指标体系初选、指标体系优化、系统检验等，建立过程如图1所示。

图1 确立评价体系流程图

1.1 确立评价目的

本研究拟在建立电力营销智能系统的评价方法，分析影响智能系统的评价因素，探讨智能系统的优化路径。以电力营销智能系统为主要研究对象，拟以一定数量和比例的系统操作员工、系统性能测量领域专家为调研和访谈对象，通过德尔菲法、问卷调查法、层次分析法等方法建立营销大脑智商测量的评价体系。

1.2 评价指标初选

目前关于电力智能系统并无明确的评价体系，因此只有基于已有研究与实践的基础，确立评价体系。在对被评价目标的深入了解的基础之上，查阅包括智能产品性能测量、智能系统性能测量等领域相关标准、规范、文献，将各项标进行整理与归纳，通过对领域内专家咨询、实地情况调查等方法，获取能最客观反应评价目标优劣的相关指标。一方面，在指标的选取过程中，要尽可能保证全面但又不重叠，如果指标不全面，就无法了解系统整体的性能测量结果，只能得到局部结果，无法准确反映评价对象。如果指标选取过于重叠，在增加工作量的同时，会导致评价结果失真，不利于评价体系后续的优化。例如，当考察智能系统的数据获取能力时，从数据类型上可以从结构化数据、半结构化数据、非结构数据去考虑，也可从文字、声音、图像角度去考虑，角度并不唯一，但要尽可能确保全面且不重叠。

另一方面，选取的指标要适用于的具体的应用研究中，因此对于选取的指标需尽量易于获得。通常情况下，指标获取的难易程度包括容易、较易、较难和困难四个程度，具体指标获取的难度由专家来评定，一般说来，定量指标比定性指标易于取得，具体指标比综合指标易于取得。例如，要直接考察智能系统的指导决策能力是较为困难的，但如果将该能力细分为电力大数据的获取能力、知识抽取与分析能力、未来趋势预测能力、结果可视化展示能力等角度，则更便于理解和分析。

1.3 指标体系的优化

指标体系的优化包括初步指标优化和系统测试优化。初步指标优化是在进行指标初步选择后，将现存指标进行综合比对与筛选，选择出合适的指标进行整理、归纳，再将评价目标根据其性质特点进行分解，细化目标，形成子系统。将各个子系统做进一步的分解，形成几个可以完全评价其特性的具体指标。同时将相互交集的指标进行进一步细化处理，根据指标选取原则、专家咨询等各种方式，找出指标中的重复、遗漏和不足之处，对评价指标进行优化处理，得到最精准、最简洁的评价指标体系。在优化的过程中，可以从“齐备性”、“协调性”、“可行性”、“准确性”、“区分度”、“重复度”等方面进行检验优化。通过优化，使得不同维度间具有一定的区分程度，而同一纬度内的各项次级指标又具有一定的相关性。

经过以上步骤确立的评价体系在理论阶段是合理的，而在具体的电力营销智能系统中是否适用仍需进一步研究。在电力领域业务运营的过程中，区别于一般智能系统，电力智能营销系统特点主要在于数据处理的针对性、功能特点的专业性。电力营销智能系统需要处理大量与电力行业相关的数据，如电力市场数据、用户用电数据等，这些数据需要经过专门的处理和分析，以提供给电力公司决策者有用的信息。同时，作为专门为电力行业的营销活动而设计的智能系统，需要支持电力公司的市场营销决策、客户管理、产品定价等相关专业性工作，并提供包括电力市场运行规律的分析预测、电力用户画像分析、电力产品推荐等功能。这些因素都是我们在研究过程中需要考虑的。

1.4 指标权重确立

确立指标权重是进行评价的前提，尽管已经通过筛选与优化确立的系统智商的评价体系，然而各评价指标与其同级指标的意义与重要性均不相同，因此需要采取合适的研究方法确立不同指标的权重，区分不同指标的重要性，以确保最终评价的科学性。本研究采用层次分析法、德尔菲法、结合问卷调研结果确立指标权重。

2 电力营销数智系统评价体系的构建

2.1 评价体系内容的确立

根据上文所述的体系构建流程，结合实际操作场景，我们构建了评价指标体系内容，一级指标包括系统对数据的汇聚能力、智能技术能力、智能应用能力。其中，数据汇聚能力是智能系统对外部数据的接收与初步判断能力，是进行建模与智能应用的基础，包含数据的收集能力、数据的融合能力。智能技术能力则是强调系统对数据处理过程的能力，包括系统运算能力、系统建模能力。智能应用能力则是基于数据汇聚和智能技术的基础之上，对数据根据不同业务场景需求进行输出应用的能力，包括智能查询能力、智能推荐能力、智能解析能力、多功能展示能力等。

2.2 评价体系权重的确立

不同指标的评价权重通过问卷调查和德尔菲专家咨询的方法而确定。第一步，根据确定的评价体系内容，利用在线问卷调研网站问卷星（www.wjx.cn）提供的工具建立评价体系问卷，构建智能系统评价体系权重赋值调研问卷，问卷构建的原则需保证各级维度的总和为100。第二步，邀请从事电力营销领域、人工智能领域等领域的20名专家成立专家组。将问卷发放给专家组进行打工。第三步，将第一次问卷调研结果进行汇总，将结果提供给专家组进行阅读。第四步，请专家组成员对问卷进行第二次打分，对第二次赋值结果取平均值，获得最终带权重的智能系统评价体系，如表1所示。

表1 权重的智能系统评价体系

3 智能系统评价等级的建立

基于前文指标与权重的确定，本文建立了一个关于电力营销智能系统的综合评价模型，用建立的评价体系运用于实际系统中，通过定量分析系统中不同维度的实际性能，以确立综合的智能水平。根据不同维度的表现情况，技术人员根据实际分值对具体功能进行改进，以支持电力营销业务高效运作。本文建立的系统评价等级评价如表2所示。

表2 智能系统评价等级

描述级智能可以实现数据汇聚和标准化处理过程，通过系统自动识别信息，并给出清晰的描述性信息，这是智能系统的初级阶段，该阶段智能系统的主要能力在数据获取方面，可以满足识别文字、声音、图像等能力，并做汇总展示与简单分析。

诊断级智能能够基于系统数据，有效、快速地给出精准诊断结果，这是智能系统的中级阶段，除了具有数据获取的能力，还对数据中包含的知识具有掌握能力，掌握包括营销基础知识、专业技能等，并通过内部的算法体系，对获取的知识能进行一定程度的分析，具有中等程度的系统技术能力。

预测级智能能够结合主题相关的预警、预测、预防信息等，构建相关主题库、模型库和方法库等，并通过自我优化不断完善辅助决策，这是智能系统的较高级阶段，除了能充分获取数据信息，掌握领域内的知识体系，还对知识具有一定创新与反馈能力，能根据不同应用场景建立模型进行，例如电价预警机制，电量精准预测等。

指导级智能能够结合实际的业务场景制定可执行的方案与计划，给出多组织、多业务、多资源系统的协同指导，这是目前一个更为高级的阶段，也是电力公司在开发智能系统的未来发展方向，能将数据获取获取、知识掌握、知识创新及知识反馈等智能系统能力融合贯通，该阶段的智能系统可以根据实际业务场景和需求，结合大量的知识和数据，制定全面的方案与计划。这些方案不仅考虑到单个组织或业务的需求，还能够协同指导多组织、多业务、多资源系统的协同工作。指导级智能能够分析和优化资源配置、风险控制、任务分配等关键问题，为决策者提供准确、可执行的指导。同时，指导级智能具备自适应和自学习的能力，能够根据反馈信息和实践经验进行持续改进和优化。它可以通过与人类专家的互动和协作，不断完善自身的知识库和决策模型，以更准确和可靠地指导业务决策和执行。

4 结束语

本文依托国家数字化转型的背景，以构建电力营销智能系统评价体系进行深入思考。本研究结合电力营销智能系统目前的发展情况，通过指标体系的初选与优化、权重确立等步骤确立评价体系，结合确定的体系与缺重，建立智能系统评价等级，为电力营销数智系统的评价与优化提供了参考依据，进一步促进了供电公司的数字化、智能化转型。