RLlib-IMPALA 框架在可伸缩电压 - 无功优化中的应用研究：一种强化学习方法

Feb, 2024

RLlib-IMPALA 框架在可伸缩电压 - 无功优化中的应用研究：一种强化学习方法

Scalable Volt-VAR Optimization using RLlib-IMPALA Framework: A Reinforcement Learning Approach

Alaa Selim, Yanzhu Ye, Junbo Zhao, Bo Yang

TL;DR电力系统中的 VVO 优化日益关键，本研究提出了一种基于深度强化学习和重要性加权 Actor-Learner 架构的新颖框架，利用 RAY 平台的分布式计算和高级超参数调整功能，显著加快了 VVO 解空间中的探索和利用阶段，并取得了优于现有 DRL 方法的奖励结果和 10 倍计算要求减少的显著成果。

Abstract

In the rapidly evolving domain of electrical power systems, the Volt-VAR optimization (VVO) is increasingly critical, especially with the burgeoning integration of renewable energy sources. Traditional approaches to learning-based VVO in expansive and dynamically changing power systems are often hindered by computational complexities. To address this challen

volt-var optimization deep reinforcement learning importance weighted actor-learner architecture computational requirements ray platform

发现论文，激发创造

IMPALA: 基于重要性加权的 Actor-Learner 结构的可扩展分布式深度强化学习

使用一种新的分布式代理 IMPALA (Importance Weighted Actor-Learner Architecture)，在 DMLab-30 和 Atari-57 的环境下进行多任务强化学习，并展示了其成功的性能和多任务学习的积极转移效果。

Feb, 2018

使用剪切目标网络的重要性加权异步架构

通过使用 IMPACT 算法，可以在异步分布式强化学习环境下，提高样本奖励并同时实现高样本利用率与快速训练速度。

Nov, 2019

可扩展的多智体强化学习高性能模拟

本论文介绍了一种高性能代理基于模型的框架 ——Vogue，可以支持成千上万的互动代理的训练环境，此规模的高性能多智能体环境有望实现在复杂系统中建立灵活且健壮的策略。本研究展示了两个新开发的大规模多智能体训练环境的训练表现，并表明这些环境可以在几分钟甚至几小时的时间尺度上训练共享 RL 策略。

Jul, 2022

VIREL：一种变分推断框架的强化学习

提出一种新的基于概率模型的强化学习方法 VIREL，通过应用参数化的动作值函数来总结底层 MDP 系统的未来动态，使 VIREL 具有 KL 散度的寻找峰值形式、自然地从推断中学习确定性最佳策略的能力和分别优化价值函数和策略的能力。通过对 VIREL 应用变分期望最大化方法，我们表明可以将 Actor-critic 算法简化为期望最大化，其中策略改进对应 E 步骤，策略评估对应 M 步骤，最后，我们展示了来自这个家族的 Actor-critic 算法在几个领域优于基于软值函数的最新方法。

Nov, 2018

主动配电网络基于变频器的电压 - 无功控制的两阶段深度强化学习

使用两阶段深度强化学习方法来优化基于逆变器能源的电压调节，通过一个高效的对抗性强化学习算法，训练出离线代理程序，然后将其安全地转移到在线代理程序中，在线学习和控制具有显著的安全性和效率，从而比现有机器学习方法取得更好性能。

May, 2020

基于模型的深度强化学习电压控制策略高效学习

提出了一种基于模型的深度强化学习方法，用于设计短期电压稳定性问题的紧急控制策略，并使用基于深度神经网络的动态代理模型进行训练，最终在 IEEE 300 总线测试系统上实现了 97.5% 的样本效率和 87.7% 的训练效率。

Dec, 2022

一种可扩展的网络感知多智能体强化学习框架用于去中心化逆变器电压控制

针对分布式发电带来的电网分散电压控制的挑战，本文提出了一种可扩展的网络感知框架，利用网络结构截断评论家的 Q 函数输入，提高可伸缩性并减少训练期间的通信成本，成功在一个拥有 114 个分布式发电源的系统中进行了演示，为日益复杂的电力系统中的分散电压控制提供了有希望的解决方案。

Dec, 2023

电力分配网络主动电压控制的多智能体强化学习

本研究使用多智能体强化学习模型解决由去碳化趋势造成的电力网络中的电压拥塞问题，将主要问题转化为 Dec-POMDP 模型并建立开源环境，解决多智能体强化学习在状态可解释性等方面的挑战，为电力社区和多智能体强化学习社区寻求现实应用提供了实践基础和方向参考。

Oct, 2021

基于参考模型的深度强化学习在逆变器电压 - 无功控制中的动作空间缩减

提出基于参考模型辅助的深度强化学习方法，通过学习参考动作和最优动作之间的残留动作，缩小动作空间，优化逆变器调压控制在主动配电网中的应用性能。

Oct, 2022

安全约束的多智能体强化学习在主动电压控制中的应用

基于多智能体强化学习的安全限制算法，用于解决分布式可控发电机在电力网络中主动电压控制问题，通过在电力分布网络模拟环境中进行实验，证明了该方法与最新的多智能体强化学习方法相比的有效性。

May, 2024