AAAIDec, 2023

离线强化学习的评论引导决策转换器

PDF
TL;DR离线强化学习中的 CGDT 方法结合了基于值函数的方法和决策 Transformer 的轨迹建模能力，通过整合学习的值函数，保证了指定目标回报和动作预期回报之间的直接对齐，从而弥合了 RCSL 的确定性和基于值函数方法的概率特性之间的差距。在随机环境和 D4RL 基准数据集上进行的实证评估表明，CGDT 方法优于传统的 RCSL 方法，展示了 CGDT 在离线强化学习领域中提升技术水平并扩展 RCSL 在广泛强化学习任务中的适用性的潜力。
offline reinforcement learningreturn-conditioned supervised learningstochastic state transitionsvalue-based methodscritic-guided decision transformer
发现论文，激发创造
  • 图决策变换器

    本文介绍了一种离线强化学习的新方法 —— 图决策 Transformer（GDT）。GDT 将输入序列建模为因果图，以捕捉根本上不同概念之间的潜在依赖关系并促进时间和因果关系的学习。GDT 在图形输入处理中使用图形 Transformer，并在视觉任务中使用一个可选的序列 Transformer 来处理细粒度空间信息。实验表明，GDT 在基于图像的 Atari 和 OpenAI Gym 上的性能可以与最先进的离线强化学习方法相媲美或超越。

    Mar, 2023

  • 决策变压器：通过序列建模的强化学习

    本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

    Jun, 2021

  • 回归对齐决策转换器

    离线强化学习中的传统方法旨在学习最大化累积奖励（也被称为回报）的最优策略。本文提出了一种名为 RADT（Return-Aligned Decision Transformer）的模型，通过解耦规范输入序列来增强回报与状态以及回报与行为之间的关系，从而有效地使实际回报与目标回报保持一致。广泛的实验证明，RADT 减少了基于 DT 方法的实际回报与目标回报之间的差异。

    Feb, 2024

  • 离线强化学习推荐系统因果决策变换器

    本文提出了一种基于因果决策转换器的推荐系统，即 CDT4Rec，用于处理离线数据集的强化学习模型。该模型采用了变压器架构，能够处理大规模的离线数据集，并捕捉数据中的长短期依赖关系，以估计动作、状态和奖励之间的因果关系。我们通过对六个真实世界离线数据集和一个在线模拟器的实验，证明了该模型的可行性和优越性。

    Apr, 2023

  • 离线安全强化学习的时态逻辑条件决策变压器

    我们提出了一种利用信号时态逻辑 (Signal Temporal Logic, STL) 指定复杂时态规则并使用决策变压器 (Decision Transformer, DT) 进行顺序建模的新框架，称为时态逻辑规范化决策变压器 (Specification-conditioned Decision Transformer, SDT)，在 DSRL 基准测试上的实证评估表明，与现有方法相比，SDT 学习安全且高奖励策略的能力更强，并且 SDT 在满足不同 STL 规范要求的程度方面表现良好。

    Feb, 2024

  • 离线安全强化学习的约束决策 Transformer

    该论文研究了如何从离线数据集中学习到一个安全政策，提出了一种多目标优化的方法，并通过 “ε- 可减” 向量量化了问题难度，发现在安全性和任务性能之间存在平衡，于是提出了一种 “受限决策 Transformer” 方法并进行了实验，结果表明我们的方法比其他方法在各种任务中都表现出更好更安全和更高的效益。

    Feb, 2023

  • 使用决策 Transformer 解决持续离线强化学习

    通过比较决策 Transformer（DT）和基于演员 - 评论者结构与经验回放的现有方法，我们研究了连续离线强化学习（CORL）框架中的 DT，发现 DT 在学习效率、分布转移缓解和零 - shot 泛化方面具有优势，但在监督参数更新时会加剧遗忘问题，我们引入多头 DT（MH-DT）和低秩自适应 DT（LoRA-DT）以减轻 DT 的遗忘问题。在 MoJuCo 和 Meta-World 基准上的广泛实验表明，我们的方法优于现有的 CORL 基准，在增强学习能力和内存效率方面展示出卓越的性能。

    Jan, 2024

  • 决策理论引导下的深度强化学习快速学习

    通过 Decision Theory-guided Deep Reinforcement Learning（DT-guided DRL）的新方法，解决了 DRL 中的冷启动问题，提高了代理在复杂环境中的初始性能和稳健性，使学习过程更加高效可靠。通过解决两个主要问题的情景：杆车和迷宫导航挑战，实验结果表明 Decision Theory 的整合不仅为 DRL 代理提供有效的初始指导，而且在特征较大和复杂的环境中促进了更加结构化和明智的探索策略。实验结果显示，与常规的 DRL 相比，DT-guided DRL 能够提供更高的奖励。尤其是在训练的初始阶段，DT-guided DRL 的累积奖励增加了 184%。此外，即使在达到收敛后，它的性能仍然优于标准的 DRL，在大型迷宫问题中获得了多达 53% 的额外奖励。DT-guided DRL 在缓解 DRL 的基本挑战方面代表了一种进步，通过利用人类（设计者）知识所得到的函数来为进一步研究打下了基础。

    Feb, 2024

  • 价值增益的条件监督学习用于离线强化学习

    通过结合 Neural Tangent Kernel 分析的价值函数，Value-Aided Conditional Supervised Learning (VCS) 方法有效地克服了 return-conditioned supervised learning (RCSL) 和 value-based methods 所面临的实际挑战。实证研究表明，VCS 不仅明显优于 RCSL 和 value-based methods，而且在各种离线强化学习基准测试中始终达到甚至超过最高的轨迹回报，为离线强化学习打开了新的道路，并推动了进一步的创新。

    Feb, 2024

  • 通过层次强化学习重新思考决策 Transformer

    决策 Transformer 是一种创新算法，利用了转换器架构在强化学习中的最新进展；我们提出一个序列建模框架来研究通过分层强化学习进行顺序决策的方法，并展示了 DT 作为该框架的一个特例，同时讨论了潜在的失败选择；受到这些观察的启发，我们研究了如何联合优化高层和低层策略以实现拼接能力，从而进一步发展了新的离线强化学习算法；我们的实证结果清楚地表明，所提出的算法在多个控制和导航基准测试中明显优于 DT；我们希望我们的贡献可以在强化学习领域中推动转换器架构的整合。

    Nov, 2023