刘新展， 朱文红， 陈佳鹏， 郑全朝， 王成佐

(1. 广东电网有限责任公司 电力调度控制中心， 广州 510200； 2. 广东益泰达科技发展有限公司 电力调度部， 广州 510200)

人工智能算法近年来得到了广泛的研究和应用，其中机器学习是应用最为广泛的算法类型.按照智能体与环境之间的交互关系，机器学习可分为监督学习、半监督学习和强化学习[1-2].强化学习凭借其不需要专家系统的内在特征，具备更强的适应性，已成为当前应用最广泛的机器学习类型.

宁剑等[3]系统介绍了基于控制响应函数的区域电网自动发电控制(automatic generation control，AGC)方法，该研究表明控制响应函数自身计算的复杂性是实际应用的重要瓶颈，为此利用强化学习等智能算法成为该领域研究的热点.张孝顺等[4-5]基于多智能体协同学习，提出了面向互联电网的区域AGC控制算法；Lin等[6]综合考虑AGC功率分配中安全、节能、经济等多方面调控目标，提出了基于Q学习算法的多目标AGC调节容量动态优化分配方法；余涛等[7]结合大规模互联电网中各区域电网协同控制的要求，提出了基于改进分层强化学习的多区域电网CPS指令动态优化分配算法.

当前强化学习在电网AGC控制方面的研究集中于大电网或微电网控制层面，对区域电网的控制方法研究仍相对较少.本文围绕区域电网AGC控制问题，介绍Q学习算法基本原理和算法流程.基于区域电网AGC控制需求，在信息物理系统体系下构建其控制框架，并提出其动作空间、回报函数……