Feb, 2024

使用条件扩散模型拼接子轨迹以实现目标条件离线强化学习

PDF
TL;DR使用 SSD 模型，基于离线数据集利用条件扩散模型生成高质量计划，成功将离线数据中的子优化轨迹段拼接起来，并在 GCRL 标准基准任务中取得了领先水平的性能。
offline gcrlreinforcement learningconditional diffusion modelssdsuboptimal trajectories
发现论文，激发创造
  • 通过轨迹拼接提炼离线强化学习的条件扩散模型

    基于数据增强的知识蒸馏方法提出，通过条件扩散模型生成高回报轨迹，并通过新的奖励生成器运用新颖的拼接算法将其与原始轨迹混合。将得到的数据集应用于行为克隆，学习到的规模较小的浅层策略在几个 D4RL 基准测试中表现优于或接近深度生成规划器。

    Feb, 2024

  • DiffStitch：基于扩散的轨迹拼接技术提升离线强化学习

    离线强化学习中，学到的策略性能高度依赖于离线数据集的质量。然而，在许多情况下，离线数据集只包含非常有限的最优轨迹，这对离线强化学习算法提出了挑战，因为智能体必须能够转移到高奖励区域。为了解决这个问题，我们引入了一种基于扩散的轨迹拼接（DiffStitch）方法，这是一种新颖的基于扩散的数据增强技术，能够在轨迹之间生成连接转移。DiffStitch 有效地连接了低奖励轨迹与高奖励轨迹，形成全局最优轨迹，以解决离线强化学习算法面临的挑战。在 D4RL 数据集上进行的实证实验表明 DiffStitch 在 RL 方法中的有效性。值得注意的是，DiffStitch 在一步方法（IQL）、模仿学习方法（TD3+BC）和轨迹优化方法（DT）的性能上有了显著提升。

    Feb, 2024

  • GOPlan: 使用学习模型通过规划进行目标条件下离线强化学习

    提出了一种新的基于模型的两阶段框架，Goal-conditioned Offline Planning（GOPlan），通过预训练一个能够捕捉多模式行为分布的先验策略，并利用规划生成假想轨迹进行微调策略，实现了离线多目标操作任务上最先进的性能。

    Oct, 2023

  • 离线强化学习中的潜在扩散推理

    该论文介绍了一种离线强化学习的方法，使用压缩的潜在技能建模支援轨迹序列，避免外推错误，并通过批量约束来学习 Q 函数。该方法通过学习的时间抽象潜在空间在离线强化学习任务中编码了更丰富的任务特定信息，改进了信用分配，并促进了更快的奖励传播。该方法在 D4RL 基准测试中表现出最先进的性能，特别擅长长期，稀疏奖励任务。

    Sep, 2023

  • 离线目标条件强化学习的评分模型

    基于离线数据集、无初始监督、且没有判别器的分布匹配方法 (SMORe) 在 GCRL 中取得了显著的性能提升。

    Nov, 2023

  • 离线强化学习的隐式计划器：以目标条件预测编码为例

    本研究探讨了序列建模在轨迹数据中提取有用表示并对政策学习做出贡献的能力，并引入了 Goal-Conditioned Predicitve Coding (GCPC) 方法，通过对未来的目标条件潜在表示进行学习实现了竞争力表现。

    Jul, 2023

  • 利用预训练技能来拓展目标勘探，用于稀疏奖励长时间尺度的目标条件加强学习

    本文提出了一种新的学习目标，通过优化已实现和未来需要探索的目标的熵，以更高效地探索子目标选择基于 GCRL，该方法可以显著提高现有技术的探索效率并改善或保持它们的表现。

    Oct, 2022

  • MetaDiffuser：离线 Meta-RL 的扩散模型作为条件规划器

    本文提出了一种基于任务的条件扩散规划器 (MetaDiffuser) 来解决离线 meta-RL 中通用性问题，该规划器可以生成针对任务的轨迹以在各种任务间进行规划。实验结果表明 MetaDiffuser 能够表现出优异的生成轨迹能力，优于其他离线 meta-RL 基线模型。

    May, 2023

  • 离线目标条件强化学习的未见目标泛化必要因素是什么？

    本文研究了离线目标导向增强学习算法的越界泛化问题，提出了一种基于加权模仿学习的离线学习算法（GOAT），在 9 项独立同分布任务和 17 项越界任务测试中显著优于现有的算法。

    May, 2023

  • 具有子目标预测的目标条件监督学习

    本文介绍了一种基于 “目标条件下的先验知识学习”（GCSL）算法的延伸方法 TraIL，在原有算法基础之上，通过利用轨迹的信息来预测动作和目标子目标，从而使得智能体可以在更多的目标状态下取得更好的性能表现。

    May, 2023