宋鹏飞，杨宁，崔承刚，闫南，奚培锋

（1.上海电力大学，上海200090；2.上海市智能电网需求响应重点实验室，上海200333）

0 引言

电力系统是一个包含发电、输变电、用电等环节的综合系统，是现代社会的重要基础设施。电力系统故障（部分或完全停电）会导致巨大的经济损失[1]。2003年8月14号，美国和加拿大电力系统部分地区停电造成的经济损失高达100亿美元。此外，未来将会有更多的服务设备依赖于电力（例如新能源汽车、交通运输等系统）。因此保障电力系统的稳定运行至关重要。

随着不可再生能源的不断消耗和国家推进高效清洁能源体系结构的建设，以风能和太阳能为主的分布式能源通过电力电子变换器接入到电力系统，降低了系统的惯性，对系统的稳定运行产生了冲击[2]。因此需要寻求先进的控制技术，来确保从发电源头到最终用户端电力传输的可靠性，并防止或减少系统的停电现象，避免巨大的经济损失和社会后果。

逐渐完善的通信基础设施和强大计算能力的控制设备为实施高级的控制方案提供了可能性。控制工程、计算机科学、大数据、应用数学等理论的发展为控制系统设计提供了更多的高级控制算法。近年来，深度强化学习在电力系统控制与决策方面的应用研究已得到各界人士的认可，2018年国家电网正式发文成立人工智能应用研究所。

机器学习可以分为监督学习、无监督学习和强化学习。不同于监督学习和无监督学习，强化学习是一种自监督的学习方式：智能体一方面基于动作和奖励数据进行训练，并优化行动策略；……