基于可微投影的能耗优化策略可行性约束实施

May, 2021

基于可微投影的能耗优化策略可行性约束实施

Enforcing Policy Feasibility Constraints through Differentiable Projection for Energy Optimization

Bingqing Chen, Priya Donti, Kyri Baker, J. Zico Kolter, Mario Berges

TL;DR本文提出了一种名为 PROF 的方法，可以在神经网络策略中加入可微的投影层，以满足凸运营约束，进而对能源系统的控制进行 RL 训练。我们在两个应用上进行了演示，并展示了 PROF 的性能提升。

Abstract

While reinforcement learning (RL) is gaining popularity in energy systems control, its real-world applications are limited due to the fact that the actions from learned policies may not satisfy functional requirements or be feasible for the underlying physical system. In this work, we

reinforcement learning convex operational constraints neural policies energy-efficient building operation inverter control

发现论文，激发创造

多能源管理系统的自我完善硬约束条件下安全的强化学习

本文介绍了两项新的安全强化学习方法，OptLayerPolicy 和 self-improving hard constraints，将约束函数与 RL 形式解耦，以提高初始效用和准确性，提供了在模拟的多能源系统案例研究中实现 92.4%（OptLayerPolicy）的初始效用和 104.9%（GreyOptLayerPolicy）的策略的结果。

Apr, 2023

基于动作集的安全电网管理策略优化

本文提出了一种基于搜索规划算法的新方法解决强化学习中存在的环境约束问题，同时采用黑盒策略优化的进化策略来训练策略直接优化。在 NeurIPS L2RPN 竞赛中，我们的解决方案在两个轨道中均名列第一，能够有效管理电网并确保其地安全性。

Jun, 2021

用神经投影学习物理约束

我们提出了一种新的神经网络家族，通过学习基础约束条件来预测物理系统的行为，其中我们的神经投影算子是核心，可以自动有效地发现各种约束条件，并预测不同物理系统的管辖行为。

Jun, 2020

一种用于最优能量储存系统调度的约束强化深度学习框架

提出了一种利用深度强化学习和混合整数规划的框架，用于优化能量储存系统的调度决策，同时严格执行操作约束，以及在存在不确定性的环境中取得高质量的调度决策。

Jul, 2023

带 QoS 保证的功率控制：一个可微投影无监督学习框架

本文介绍了一种基于深度神经网络的无监督学习框架，以解决多用户干扰信道中的功率控制问题，该问题的目标是在用户的最低数据速率或 QoS 要求和功率预算限制下最大化网络总速率，并使用两个新的深度学习（DL）解决方案：DIPNet 和 DEPNet，这些解决方案不仅可以提高可达数据速率，而且可以实现零约束违规概率。

May, 2023

基于已知约束函数的多能源管理系统安全强化学习

本文提出了两种新的安全强化学习方法，即 SafeFallback 和 GiveSafe，其安全约束公式与 RL 公式分离，可提供硬约束满足保证，且无需解决数学问题，从而降低计算能力要求，并具有更灵活的约束公式表述。方法可应用于超出 RL 的任何策略，同时提供硬约束保证，并在模拟多能源系统案例研究中验证了方法的有效性。

Jul, 2022

基于投影的约束策略优化

本研究提出了一种新的算法，投影约束策略优化（PCPO），用于学习控制策略，以优化奖励函数并满足由安全、公平或其他成本考虑所产生的约束，结果表明与现有的方法相比，PCPO 在多个控制任务中的表现优异，约束违反率平均低至 3.5 倍左右，奖励水平约高 15% 左右。

Oct, 2020

神经渐进对冲：用随机规划在强化学习中强制执行约束

本文提出了一种名为神经渐进对冲的框架，该框架在强化学习策略执行的在线阶段利用随机规划来确保对约束和风险为基础的目标的可行性，特别适用于序列资源分配问题等一些无法可扩展地强制执行常见资源约束条件的问题，实验证明该框架比起深度强化学习和其他基线方法更好地适应非平稳状态分布和约束条件，并具有易于实现和解释政策的优点。

Feb, 2022

电厂监控的安全强化学习算法

我们提出了基于近端策略优化的概率约束强化学习算法，通过使用 Lagrangian relaxation 将约束优化问题转换为无约束目标，从而在先进的核电厂设计中实现了最小违规距离和违规率。

Jan, 2024

约束型近端策略优化

本文提出了一种名为 CPPO 的新型一阶可行方法，将受限强化学习问题视为概率推理问题。通过计算 E 步骤中的最优策略分布，并对当前策略进行一阶更新以调整至 E 步骤中获得的最优策略，解决了受限强化学习方法中二阶优化或原始 - 对偶框架的复杂性和低效性问题。经实验验证，该方法的有效性至少与其他基线方法一样。

May, 2023