主动配电网络基于变频器的电压 - 无功控制的两阶段深度强化学习

May, 2020

主动配电网络基于变频器的电压 - 无功控制的两阶段深度强化学习

Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks

Haotian Liu, Wenchuan Wu

TL;DR使用两阶段深度强化学习方法来优化基于逆变器能源的电压调节，通过一个高效的对抗性强化学习算法，训练出离线代理程序，然后将其安全地转移到在线代理程序中，在线学习和控制具有显著的安全性和效率，从而比现有机器学习方法取得更好性能。

Abstract

Model-based Vol/VAR optimization method is widely used to eliminate voltage violations and reduce network losses. However, the parameters of active distribution networks(ADNs) are not onsite identified, so significant errors may be involved in the model and make the model-based method infeasible. To cope with this critical issue, we propose a novel two-stage

model-based optimization active distribution networks deep reinforcement learning energy resources online learning

发现论文，激发创造

减少学习困难：用一步两批评员深度强化学习实现基于变流器的电压 - 无功控制

本文提出了一种一步两批判者深度强化学习方法，用于解决主动配电网中的逆变器电压 - 有功无功控制问题。该方法采用深度强化学习算法及多智能体算法，实现了快速收敛和更好的控制表现。

Mar, 2022

基于模型的深度强化学习电压控制策略高效学习

提出了一种基于模型的深度强化学习方法，用于设计短期电压稳定性问题的紧急控制策略，并使用基于深度神经网络的动态代理模型进行训练，最终在 IEEE 300 总线测试系统上实现了 97.5% 的样本效率和 87.7% 的训练效率。

Dec, 2022

基于在线多智能体强化学习的分散式基于逆变器的电压 - 无功控制

本文提出了一种在线多智能体强化学习和分散式控制框架以解决基于分布式 Volt/Var 控制（VVC）方法所面临的完整性和通信成本问题。在该框架中，通过采用多智能体约束软演员 - 评论家（MACSAC）强化学习算法进行 VVC 管理，不再需要事先准确的 ADN 模型，从而实现分散式优化控制和有效的通信处理。该 OLDC 框架的数值模拟结果表明，它具有出色的灵活性和适应性，可用于各种计算和通信条件下，在线应用中取得更好的控制效果。

Jun, 2020

基于深度强化学习的光伏智能逆变器协调控制实现电网电压调节

本研究提出了一种基于深度强化学习的算法来协调多个智能逆变器，以更有效地利用逆变器反应功率来满足电网电压的操作限制，该算法能够通过与海量离线模拟的交互来学习其策略，并适应负载和太阳能变化。在 IEEE 37 节点系统上，训练良好的 DRL 代理可智能地协调不同的 SI，以维持电网电压在允许范围内，实现减少 PV 生产限制和降低系统损失的目标。

Oct, 2019

使用深度强化学习进行电网运行的自主电压控制

本文提出了一种新的范式 Grid Mind，使用深度强化学习进行自主电网运行控制。通过与大规模离线模拟的交互，所提出的人工智能代理可以学习其控制策略，并适应包括负荷 / 发电变化以及拓扑变化在内的新变化，然后在 IEEE 14 总线系统上进行了测试，并展示了在运用自主电压控制进行安全电网运行方面的良好表现。

Apr, 2019

基于深度强化学习的配电网两时间尺度电压控制

该研究提出了一种新的分布式电网电压调节方案，通过巧妙地耦合数据驱动与基于物理的优化来解决电动汽车和可再生发电设备带来的电压波动问题，并利用深度强化学习算法在每小时更慢的时间尺度上配置电容器最小化长期折扣电压偏差。

Apr, 2019

基于参考模型的深度强化学习在逆变器电压 - 无功控制中的动作空间缩减

提出基于参考模型辅助的深度强化学习方法，通过学习参考动作和最优动作之间的残留动作，缩小动作空间，优化逆变器调压控制在主动配电网中的应用性能。

Oct, 2022

在线建筑能量优化使用深度强化学习

本研究首次探讨使用深度强化学习在智能电网环境下实现建筑能源管理系统的在线调度优化，所提出的方法被验证可用于大规模数据资源中，如 Pecan Street Inc. 数据库，并且可以提供实时反馈以鼓励电能的更高效利用。

Jul, 2017

一种可扩展的网络感知多智能体强化学习框架用于去中心化逆变器电压控制

针对分布式发电带来的电网分散电压控制的挑战，本文提出了一种可扩展的网络感知框架，利用网络结构截断评论家的 Q 函数输入，提高可伸缩性并减少训练期间的通信成本，成功在一个拥有 114 个分布式发电源的系统中进行了演示，为日益复杂的电力系统中的分散电压控制提供了有希望的解决方案。

Dec, 2023

利用深度强化学习的自适应电力系统应急控制

本文提出一种利用深度强化学习进行电力系统紧急控制的方法，并设计了一个名为 “RLGC” 的开源平台来辅助这种方法的开发和基准测试。通过在两区四机系统和 IEEE 39-Bus 系统中的案例研究，证明了该方法的优异性能和鲁棒性。

Mar, 2019