翟苏巍，李文云，邱振宇，张新怡，侯世玺

（1.中国南方电网云南电网有限责任公司电力科学研究院，云南昆明 650217；2.中国南方电网云南电力调度控制中心，云南昆明 650011；3.河海大学物联网工程学院，江苏南京 210098）

0 引言

随着全球资源短缺以及人类不断增长的生活需求，世界各国积极呼吁进行节能减排，同时大力开发与研究清洁低碳能源，进一步加速全球能源转型[1-2]。常用清洁能源有风能、太阳能以及潮汐能等，风力发电凭借其资源丰富、成本低廉、技术相对成熟等优势，被认为是代替传统不可再生能源的首选[3-5]。但风能与环境因素有着极大的相关性，使其发电呈现随机性、不可控性、波动性等特点，严重影响电力系统的功率平衡，威胁电网的稳定安全运行[6-9]。研究表明，在风电场配备具有调节能力的储能系统可缓解以上问题，由此促使风储合作系统成为近年来的研究热点[10-11]。

目前，无需建立精确模型的强化学习算法在电力系统实时优化领域应用广泛[12-16]。在风储合作决策方面，国内外学者进行了初步探索[17-21]，但仍存在一些问题：（1）现有风储合作系统研究几乎未考虑柔性负荷；（2）对基于强化学习的风储合作决策方法缺乏深入研究。研究表明，在风储合作系统中，对需求侧柔性负荷进行适当管理可以显著提高合作收益[22-24]。此外，现有研究仅采用深度Q 网络（Deep Q-Network，DQN）等传统方法，收益有待提升[25-27]。因此，有必要对现有深度强化学习方法进行优化以进一步提高风储合作系统的应用价值。……