安全约束的多智能体强化学习在主动电压控制中的应用
本研究使用多智能体强化学习模型解决由去碳化趋势造成的电力网络中的电压拥塞问题，将主要问题转化为 Dec-POMDP 模型并建立开源环境，解决多智能体强化学习在状态可解释性等方面的挑战，为电力社区和多智能体强化学习社区寻求现实应用提供了实践基础和方向参考。
Oct, 2021
本文提出了一种基于 Transformer 架构和 MARL 算法的 T-MAAC 框架来稳定电力分配网络中的电压，并采用一种针对电压控制任务的新型辅助训练过程，以提高样本效率和促进基于 Transformer 模型的代表学习。
Jun, 2022
该论文提出了一种适用于扩展动作空间的分层多智能体强化学习 (MARL) 框架，利用电网固有的分层结构，用于管理大规模的电力网络，并且实验结果表明该框架的性能与单智能体强化学习方法相当。
Oct, 2023
针对分布式发电带来的电网分散电压控制的挑战，本文提出了一种可扩展的网络感知框架，利用网络结构截断评论家的 Q 函数输入，提高可伸缩性并减少训练期间的通信成本，成功在一个拥有 114 个分布式发电源的系统中进行了演示，为日益复杂的电力系统中的分散电压控制提供了有希望的解决方案。
Dec, 2023
通过整合多智能体增强学习和控制理论方法，本文提出了一种混合方法来解决安全关键环境中的复杂合作任务，包括一个新颖的设定更新算法以动态调整智能体位置以保持安全条件而不影响任务目标。实验证明相比传统的多智能体增强学习策略，该方法在任务性能和安全违规方面取得了显著优势。研究结果表明，将安全控制与学习方法相结合不仅增强了安全合规性，还实现了良好的任务目标性能。
Apr, 2024
我们提出了基于近端策略优化的概率约束强化学习算法，通过使用 Lagrangian relaxation 将约束优化问题转换为无约束目标，从而在先进的核电厂设计中实现了最小违规距离和违规率。
Jan, 2024
电网架构和功能的快速变化以及可再生能源和分布式能源资源的不断增长导致了各种技术和管理挑战。本调研报告探讨了多智能体强化学习（MARL）如何支持能源网络的去中心化和脱碳，并缓解相关的挑战。通过指定管理能源网络中的关键计算挑战，回顾最新的研究进展，以及突显可以使用 MARL 解决的开放性挑战。
Apr, 2024
该研究论文提出了一个基于多智能体的双层运营框架，用于考虑需求端的碳排放限额的配电网络低碳需求管理，其中上层通过优化控制信号最大化利润，下层通过优化调度决策最小化运营成本并计算配电边际价格和碳强度。通过网络通信与其他智能体合作，分布式柔性负荷智能体利用配电网络的不完全信息。最终，该问题被建模为一个基于网络的多智能体有约束马尔可夫决策过程，并使用一种名为共识多智能体有约束策略优化的安全强化学习算法进行求解，该算法考虑了每个智能体的碳排放限额。在 IEEE 33 节点和 123 节点配电网系统上的案例研究证明了所提方法的有效性，包括满足需求侧的碳排放约束、确保配电网的安全运行和保护双方的隐私。
Nov, 2023