Feb, 2023

离线安全强化学习的约束决策 Transformer

PDF
TL;DR该论文研究了如何从离线数据集中学习到一个安全政策，提出了一种多目标优化的方法，并通过 “ε- 可减” 向量量化了问题难度，发现在安全性和任务性能之间存在平衡，于是提出了一种 “受限决策 Transformer” 方法并进行了实验，结果表明我们的方法比其他方法在各种任务中都表现出更好更安全和更高的效益。
safe reinforcement learningoffline safe rlmulti-objective optimizationconstrained decision transformerzero-shot adaptation capability
发现论文，激发创造
  • 离线安全强化学习的时态逻辑条件决策变压器

    我们提出了一种利用信号时态逻辑 (Signal Temporal Logic, STL) 指定复杂时态规则并使用决策变压器 (Decision Transformer, DT) 进行顺序建模的新框架，称为时态逻辑规范化决策变压器 (Specification-conditioned Decision Transformer, SDT)，在 DSRL 基准测试上的实证评估表明，与现有方法相比，SDT 学习安全且高奖励策略的能力更强，并且 SDT 在满足不同 STL 规范要求的程度方面表现良好。

    Feb, 2024

  • 离线强化学习推荐系统因果决策变换器

    本文提出了一种基于因果决策转换器的推荐系统，即 CDT4Rec，用于处理离线数据集的强化学习模型。该模型采用了变压器架构，能够处理大规模的离线数据集，并捕捉数据中的长短期依赖关系，以估计动作、状态和奖励之间的因果关系。我们通过对六个真实世界离线数据集和一个在线模拟器的实验，证明了该模型的可行性和优越性。

    Apr, 2023

  • 基于约束惩罚的 Q-learning 算法用于安全离线强化学习

    本研究探讨了在仅使用离线数据的情况下学习最大化长期收益的策略，同时满足安全性约束的安全离线强化学习问题，提出了基于约束惩罚的 Q 学习算法来解决该问题，并且在多个基准任务中进行了实验验证，表明该算法在数据效率和性能方面都优于其他基线算法。

    Jul, 2021

  • 离线强化学习的多目标决策 Transformer

    离线强化学习以多目标优化问题的形式重新定义为序列建模任务，引入动作空间区域以解决变换模型的关注机制在输入上分配变化注意权重的潜在问题。实验证明这些提议使得变换模型更有效地利用关注机制，达到或超过当前最先进方法的性能。

    Aug, 2023

  • 引导式在线蒸馏：通过离线演示提升安全强化学习

    安全增强学习旨在找到在满足成本约束的同时实现高回报的策略。本研究提出了一种离线到在线的安全增强学习框架，通过引导在线安全增强学习训练，将离线决策变压器策略提炼为轻量级策略网络，在挑战性的安全关键场景中成功解决决策问题。

    Sep, 2023

  • 带有可行性引导扩散模型的安全离线强化学习

    通过可行区域定义的安全约束，最大化可行区域内的回报值并将不可行区域内的安全风险最小化的 FISOR（FeasIbility-guided Safe Offline RL）是唯一可以保证所有任务满足安全要求并在大多数任务上实现最高回报的方法。

    Jan, 2024

  • 带有梯度惩罚和约束松弛的鲁棒离线强化学习

    本文介绍了解决离线强化学习面临的数据污染问题的一系列技术，包括梯度惩罚和批评家权重约束松弛等方法，并在 D4RL Mujoco 和 Adroit 数据集上进行了实验验证。

    Oct, 2022

  • 基于已知约束函数的多能源管理系统安全强化学习

    本文提出了两种新的安全强化学习方法，即 SafeFallback 和 GiveSafe，其安全约束公式与 RL 公式分离，可提供硬约束满足保证，且无需解决数学问题，从而降低计算能力要求，并具有更灵活的约束公式表述。方法可应用于超出 RL 的任何策略，同时提供硬约束保证，并在模拟多能源系统案例研究中验证了方法的有效性。

    Jul, 2022

  • 图决策变换器

    本文介绍了一种离线强化学习的新方法 —— 图决策 Transformer（GDT）。GDT 将输入序列建模为因果图，以捕捉根本上不同概念之间的潜在依赖关系并促进时间和因果关系的学习。GDT 在图形输入处理中使用图形 Transformer，并在视觉任务中使用一个可选的序列 Transformer 来处理细粒度空间信息。实验表明，GDT 在基于图像的 Atari 和 OpenAI Gym 上的性能可以与最先进的离线强化学习方法相媲美或超越。

    Mar, 2023

  • 强化学习中策略和未知安全约束的并发学习

    我们提出了一种新的方法，同时学习安全的强化学习控制策略并识别给定环境的未知的安全约束参数，通过使用参数化信号时态逻辑 (pSTL) 安全规范和小规模初始标记数据集，将问题作为双层优化任务，通过使用拉格朗日变体的双延迟深度确定性策略梯度 (TD3) 算法的约束策略优化，并结合贝叶斯优化来优化给定 pSTL 安全规范的参数。通过全面的案例研究实验证实了该方法在各种环境约束形式上的有效性，始终产生高回报的安全强化学习策略。此外，我们的研究结果表明成功学习了 STL 安全约束参数，与真实环境安全约束具有高度一致性。我们模型的表现与完全了解安全约束的理想情况非常相似，表明其能够准确识别环境安全约束并学习遵守这些约束的安全策略。

    Feb, 2024