本文提出了一种基于 Transformers 和 prompt 学习的多任务扩散模型 MTDiff，利用扩散模型生成计划和数据合成，实现了跨不同多任务数据之间的隐式知识共享，并在 Meta-World 和 Maze2D 上的 50 个任务和 8 个地图中，达到了比现有算法更好的生成计划效果。

May, 2023

探索如何将扩散模型（DMs）的能力作为动力学模型在完全离线环境中解耦，以允许学习策略展开轨迹，并展示了 DyDiff 在离线强化学习中的有效性。

May, 2024

本文提出了一种基于任务的条件扩散规划器 (MetaDiffuser) 来解决离线 meta-RL 中通用性问题，该规划器可以生成针对任务的轨迹以在各种任务间进行规划。实验结果表明 MetaDiffuser 能够表现出优异的生成轨迹能力，优于其他离线 meta-RL 基线模型。

May, 2023

本文提出了一种基于扩散的离线多智能体模型（DOM2），采用轨迹数据增广方案，可以应对环境变化，达到更好的性能、泛化能力和数据效率。实验结果表明，DOM2 在多智能体环境中和 shifted environments 下都比现有算法表现更好，并拥有更强的数据效率。

Jul, 2023

离线强化学习方法 DiffPoGAN 通过离线数据集学习最优策略，利用生成对抗网络生成多样的动作分布，使用最大似然估计方法生成近似行为策略分布的数据，并引入基于鉴别器输出的额外正则化项来有效约束策略探索，实验证明在离线强化学习领域超过了其他方法。

Jun, 2024

我们提出了一种新的离线强化学习方法，利用引导扩散世界模型来直接评估离线目标策略，并进行一种重要性抽样的世界模型更新来使其与更新后的策略适应。在 D4RL 环境中的评估结果显示，在只有随机或中等专家示范的情况下，我们的方法相较于现有基线表现显著改进，从而需要改进世界模型与离线策略评估之间的对齐。

May, 2024

本研究提出了深度扩散策略梯度（DDiffPG）算法，它能够学习参数化为扩散模型的多模态策略，并通过聚类和内在动机探索来发现和维持多样化行为，同时减少强化学习的贪婪性质，实现了模态之间的均衡改善以及对学习模态的显式控制。经验证明，该算法在复杂的高维连续控制任务中能够掌握多模态行为，并展示了在导航未知障碍迷宫中的动态在线重新规划的概念验证。

Jun, 2024

这份论文提出了一种针对图中的对抗性学习的广义对抗训练框架，该框架基于扩散学习用于多智能体系统。分析了这个框架在凸优化问题上的收敛性，并阐述了它对抗攻击的增强鲁棒性。

Mar, 2023

最近在多智能体强化学习（MARL）的进展中，其应用已扩展到各种安全关键场景。然而，大多数方法专注于在线学习，在实际环境中部署时存在重大风险。为了解决这一挑战，我们引入了一个创新的框架，将扩散模型与 MARL 范式相结合。通过风险缓解来增强多智能体采取的动作的安全性，并建模协同行动。我们的框架基于分散执行（CTDE）架构中的集中式训练，扩展了用于预测轨迹生成的扩散模型。此外，我们还结合了一种专门的算法来确保操作安全性。我们在 DSRL 基准测试上评估了我们的模型，并进行了对比实验。实验结果表明，我们的模型不仅符合严格的安全约束，而且在性能上优于现有的方法。这凸显了我们的方法在推动 MARL 在实际应用中的安全性和效能方面的潜力。

Jun, 2024

使用离线数据训练生成扩散模型以解决在线强化学习中的稀疏奖励问题。

Jun, 2024