本文提出了一种新的范式Grid Mind，使用深度强化学习进行自主电网运行控制。 通过与大规模离线模拟的交互，所提出的人工智能代理可以学习其控制策略，并适应包括负荷/发电变化以及拓扑变化在内的新变化，然后在IEEE 14总线系统上进行了测试，并展示了在运用自主电压控制进行安全电网运行方面的良好表现。

Apr, 2019

本研究提出了一种基于深度强化学习的算法来协调多个智能逆变器，以更有效地利用逆变器反应功率来满足电网电压的操作限制，该算法能够通过与海量离线模拟的交互来学习其策略，并适应负载和太阳能变化。在IEEE 37节点系统上，训练良好的DRL代理可智能地协调不同的SI，以维持电网电压在允许范围内，实现减少PV生产限制和降低系统损失的目标。

Oct, 2019

使用两阶段深度强化学习方法来优化基于逆变器能源的电压调节，通过一个高效的对抗性强化学习算法，训练出离线代理程序，然后将其安全地转移到在线代理程序中，在线学习和控制具有显著的安全性和效率，从而比现有机器学习方法取得更好性能。

May, 2020

本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

Oct, 2021

本文介绍了一种基于动态学习的无功功率攻击方法，该攻击可以针对独立工作的电力系统，并且可以在其他发电机和使用者独立操作的情况下有效。

Apr, 2022

本研究提出一种数据驱动的贝叶斯强化学习 (BRL) 方法来解决大规模电力系统下的电压控制问题，并通过在部分可观测马尔科夫决策问题中自动捕捉因网络攻击所导致的不确定性来保持电压控制持续性，同时评估该技术在WSCC和IEEE 14总线系统上的应用效果，以及自动寻找多种RL技术中探索和开发的阈值。

May, 2023

提出了一种面对对抗式网络事件的具有弹性控制设计的新型联邦增强学习方法，并将所学习的控制策略通过仿真与实际测试平台的转移来减少仿真与实际之间的差距。

Nov, 2023

基于深度强化学习的状态对抗方式，提出了一种创新的无模型韧性调度方法，用于具备集成需求响应功能的集成能源系统，该方法能够充分应对可再生能源和负载所带来的不确定性，并减轻网络攻击对调度策略的影响，确保各种能源的稳定供求，并具备抵御网络攻击的韧性。

Nov, 2023

利用深度学习方法以解决传统方法在电网应用中的灵活性不足所带来的可再生能源和分布式电力生成带来的挑战的文章中，重点分析了图神经网络在电力网中捕捉图结构以提高表示学习和决策制定能力的能力，同时探讨了强化学习与图神经网络之间的协同作用，尤其将GRL用于自动化电网管理、拓扑控制和电压调节等应用。然而，尽管GRL在面对不可预测事件、噪声或不完整数据时显示出适应性，但目前它主要是一个概念验证。在实际电力系统运行中，仍然需要解决许多开放性挑战和限制问题。

Jul, 2024

通过使用组别区别逻辑损失和分流层的新型攻击技术，可以在连续控制中显著增加攻击影响，并且所需的畸变要远小于最优目标攻击，从而使其更难被检测到。实验结果表明，对DRL控制器的对抗攻击会产生显著影响，同时限制攻击的扰动使其难以被检测，但某些DRL架构更具鲁棒性，并且鲁棒训练方法可以进一步减小攻击的影响。

Jul, 2024