May, 2024

动态网络化系统中波动能源资源的分布式管理

PDF
TL;DR现代电力系统集成可再生分布式能源资源作为一种环境友好的增强措施，以满足不断增长的需求。然而，可再生能源固有的不可靠性使得开发分布式能源资源管理算法变得迫在眉睫。我们在由多个分布式能源资源组成的系统中研究能量共享问题，每个代理在其邻域内收集和分配可再生能源，以优化网络性能并尽量减少能量浪费。我们将这个问题建模为带约束的赌博性凸优化问题，约束对应于每个节点的能量生产限制。我们提出了分布式决策策略来解决所制定的问题，其中我们利用动态遗憾作为性能指标。我们还在我们开发的算法中设计了一种调整策略来减少约束违规。此外，我们设计了一种处理非平稳环境的策略。理论分析表明我们提出的算法的有效性。使用真实数据集进行的数值实验显示，我们的提案相比现有方法具有更优越的性能。
renewable distributed energy resourcesder management algorithmsbandit convex optimization problemdynamic regretnon-stationary environment
发现论文，激发创造
  • 一种新型的多智能体灵活性聚合框架

    本文提出了一种新的分布式能源聚合框架，其中包括多智能体架构和各种机制，用于有效管理和高效整合 Smart Grid 中的分布式能源，特别是当使用 CRPS 评分规则作为选择机制时，在与传统商业聚合器比较时，我们的框架导致参与者的平均支付增加。

    Jul, 2023

  • 应用增强学习和时间序列预测技术解决风能和分布式光伏能源不确定性问题

    本文提出了一个新的框架，使用长短期记忆（LSTM）时间序列预测和深度确定性策略梯度 (DDPG) 多智能体强化学习算法来解决可再生能源不确定性在智能电网中带来的挑战和分布能源管理中的新挑战，旨在同时考虑两个目标，从而实现对批发和零售市场的高效能源管理，并证明建议的解决方案显着提高了载荷服务实体（LSE）的利润，同时使用 DDPG 代理实现人工智能电池充电 / 放电，以最大化分布式 PV 和电池安装用户的利润。

    Feb, 2023

  • 电力网管理中的层次决策

    本文实现了一种具有层次决策制定的模型用于电网可靠性管理，使用强化学习算法学习实时电网可靠性的抽象，该算法交替进行快慢时间尺度的价值函数逼近和策略改进，并与先前的启发式算法进行比较，结果表明本方法的优越性。

    Mar, 2016

  • 面向住宅负荷快速需求响应的多智能体强化学习

    本文研究了如何通过反应需求实现频率调控来整合高比例的可再生能源资源对电力网的影响。作者提出一个分散的代理模型，通过多代理近端政策优化和本地化通信进行训练。同时，文中探讨了两种通信框架：手工设计或通过目标化的多代理通信进行学习。最终的政策可以良好地、稳健地完成频率调节，并可以在恒定处理时间下无缝扩展到任意数量的房屋。

    Jan, 2023

  • 分布式网络多智能体安全强化学习在低碳需求管理中的应用

    该研究论文提出了一个基于多智能体的双层运营框架，用于考虑需求端的碳排放限额的配电网络低碳需求管理，其中上层通过优化控制信号最大化利润，下层通过优化调度决策最小化运营成本并计算配电边际价格和碳强度。通过网络通信与其他智能体合作，分布式柔性负荷智能体利用配电网络的不完全信息。最终，该问题被建模为一个基于网络的多智能体有约束马尔可夫决策过程，并使用一种名为共识多智能体有约束策略优化的安全强化学习算法进行求解，该算法考虑了每个智能体的碳排放限额。在 IEEE 33 节点和 123 节点配电网系统上的案例研究证明了所提方法的有效性，包括满足需求侧的碳排放约束、确保配电网的安全运行和保护双方的隐私。

    Nov, 2023

  • 网络存储不确定环境下的分布式在线修改贪心算法

    本研究关注于解决在随机环境下存储网络的控制问题，提出了一种在线修改贪婪算法，并基于交替方向乘子法（ADMM）构建了分布式实现方案，以满足电网集成间歇性和随机性再生能源资源的需求。

    Jun, 2014

  • 基于规划的强化学习实现可再生能源电力系统的实时调度

    该研究利用最新的强化学习算法和真实的电力网络环境，提出了一种系统的解决方案来解决传统能源调度面临的问题，并为电力系统提供了一个可持续的低碳未来。

    Mar, 2023

  • 可解释的基于强化学习的家庭能源管理系统：使用可微分决策树

    随着能源转型的持续进行，需求侧灵活性已成为现代电力网络的一个重要方面，以提供网络支持并实现可持续能源的进一步整合。除了传统能源源之外，住宅部门是另一个主要且大量未开发的灵活性源，这是由于太阳能光伏、家庭电池和电动汽车的增加而推动的。然而，解锁住宅灵活性是具有挑战性的，因为需要一个能够有效管理家庭能源消耗并在各种不同的房屋之间具有可扩展性的控制框架，并维持用户舒适度。我们旨在解决这个具有挑战性的问题，并引入一种基于可微分决策树的强化学习方法。该方法将数据驱动的强化学习的可扩展性与（可微分的）决策树的可解释性相结合。这导致了一个可以在不同房屋之间轻松适应并向最终用户解释的简单控制策略，进一步改善用户接受度。作为概念验证，我们使用家庭能源管理问题来分析我们的方法，将其与商业可用的基于规则的基准控制器和标准神经网络强化学习控制器的性能进行比较。通过这项初步研究，我们展示了我们提出的方法的性能与标准强化学习控制器相当，相较于基准控制器，在每日成本节约方面表现优异，节约率提高了大约 20%，同时又易于解释。

    Mar, 2024

  • 使用集体行为熵进行大规模家庭能源管理的连续多智能体控制

    本研究提出了一种集体的 MA-DRL 算法以及一个新型预测模型和集体行为熵，以在大规模微电网中提供细粒度控制，减轻微电网环境的不稳定性，并显著提高电力成本降低和峰值负荷优化方面的性能。

    May, 2020

  • 多市场可再生能源优化及强化学习

    该研究介绍了一种深度强化学习框架，用于优化可再生能源和储能发电厂的操作，以最大化能源市场收益，同时最小化储能损耗成本和可再生资源废弃。

    Jun, 2023