ICMLMay, 2023

MetaDiffuser：离线 Meta-RL 的扩散模型作为条件规划器

PDF
TL;DR本文提出了一种基于任务的条件扩散规划器 (MetaDiffuser) 来解决离线 meta-RL 中通用性问题，该规划器可以生成针对任务的轨迹以在各种任务间进行规划。实验结果表明 MetaDiffuser 能够表现出优异的生成轨迹能力，优于其他离线 meta-RL 基线模型。
diffusion modeloffline meta-rlgeneralizationtask-orientedtrajectory generation
发现论文，激发创造
  • 扩散模型是多任务强化学习中有效的规划器和数据生成器

    本文提出了一种基于 Transformers 和 prompt 学习的多任务扩散模型 MTDiff，利用扩散模型生成计划和数据合成，实现了跨不同多任务数据之间的隐式知识共享，并在 Meta-World 和 Maze2D 上的 50 个任务和 8 个地图中，达到了比现有算法更好的生成计划效果。

    May, 2023

  • MADiff：离线扩散模型多智能体学习

    本文提出 MADiff，一种基于关注力扩散模型的创新多智能体学习框架，用于模拟多智能体间的复杂协调，以发挥扩散的强大的生成能力。实验证明 MADiff 相比基线算法在各种多智能体学习任务中具有较高的性能。

    May, 2023

  • 离线强化学习的时态条件引导指导下的指导扩散器

    本文提出了一种基于时间条件的扩散模型 (Temporally-Composable Diffuser)，该模型可以从交互序列中提取时间信息，并将其用于指导生成，以在离线强化学习任务中实现更好的性能。

    Jun, 2023

  • 利用扩散计划实现灵活的行为合成

    本文通过扩展动力学模型，利用扩散概率模型去掉了传统轨迹优化方法的瓶颈，将采样和计划步骤近乎完全融合，通过分类器和图像插值获得了在线规划策略，并在长期决策和测试时间灵活性强的控制环境中成功应用了该框架。

    May, 2022

  • MetaDiff: 基于条件扩散的元学习用于少样本学习

    通过将极大化模型的学习能力赋予于少样本学习，即仅通过少量样本快速学习，是人工智能的一个核心挑战。本文提出了一种基于扩散模型的元学习算法 MetaDiff，通过将渐变下降优化器建模为扩散模型，并以去噪的方式对模型权重的优化过程进行建模，从而实现了高效的训练，大大减轻了内部路径的内存负担和梯度消失的风险，在少样本学习任务中优于现有的基于渐变的元学习算法家族。

    Jul, 2023

  • 通过轨迹拼接提炼离线强化学习的条件扩散模型

    基于数据增强的知识蒸馏方法提出，通过条件扩散模型生成高回报轨迹，并通过新的奖励生成器运用新颖的拼接算法将其与原始轨迹混合。将得到的数据集应用于行为克隆，学习到的规模较小的浅层策略在几个 D4RL 基准测试中表现优于或接近深度生成规划器。

    Feb, 2024

  • 离线强化学习中的潜在扩散推理

    该论文介绍了一种离线强化学习的方法，使用压缩的潜在技能建模支援轨迹序列，避免外推错误，并通过批量约束来学习 Q 函数。该方法通过学习的时间抽象潜在空间在离线强化学习任务中编码了更丰富的任务特定信息，改进了信用分配，并促进了更快的奖励传播。该方法在 D4RL 基准测试中表现出最先进的性能，特别擅长长期，稀疏奖励任务。

    Sep, 2023

  • 离线强化学习中的超出分布泛化扩散策略

    利用先前的经验来学习比用于经验收集的行为策略更好的政策的离线强化学习方法。与行为克隆相比，离线强化学习可以使用非专家数据和多模态行为策略。然而，离线强化学习算法在处理分布偏移和有效表示策略方面面临挑战，因为训练过程中缺乏在线交互。既往研究在离线强化学习中使用条件扩散模型来获取表示多模态行为的表达性政策。然而，它们没有针对缓解分布偏移状态泛化问题进行优化。我们提出了一种新方法，将状态重构特征学习纳入最近的一类扩散策略中，以解决分布外泛化问题。状态重构损失促进对状态的更加描述性表示学习，从而减轻分布外状态引起的分布偏移。我们设计了一个二维多模态上下文强化学习环境来展示和评估我们提出的模型。我们在这个新的环境以及几个 D4RL 基准任务上评估了我们模型的性能，实现了最先进的结果。

    Jul, 2023

  • 通过扩散学习实现目标达成

    Diffusion models 可以将高维空间中的随机噪声通过迭代去噪映射到目标流形，来解决强化学习中以目标条件为导向的问题。本文提出了一种名为 Merlin 的方法，利用类似扩散过程的思想，在高维空间中构建从潜在目标状态扩散而远离的轨迹，并通过学习类似分值函数的目标条件策略，能够从任意初始状态到达预定义或新颖的目标。本文在离线目标达成任务上进行理论验证和实证实验，结果表明这种针对序列决策问题的扩散思路是一种简单、可扩展且有效的方向。

    Oct, 2023

  • 离线强化学习的优化扩散策略

    离线强化学习研究了优化策略的方法，使用扩散模型进行模拟，通过首选动作优化提高性能，在稀疏奖励任务中表现出竞争力或卓越性能，同时证明了抗噪声偏好优化的有效性。

    May, 2024