本文提出了一种利用扩散模型表示策略的离线强化学习方法 (Diffusion Q-learning)，与行为克隆和策略改进的耦合均有助于实现出色的性能，证明了该方法在大多数 D4RL 基准任务中表现出卓越的性能。

Aug, 2022

该论文提出了一种有效的扩散策略（EDP），用于在线学习优化策略，可以解决传统 Diffusion-QL 的训练效率低和与基于最大似然的 RL 算法不兼容的问题。研究表明，EDP 可将扩散策略的训练时间缩短至 5 小时，在 D4RL 基准测试中实现了新的最先进结果。

May, 2023

通过一步将噪声转化为动作，我们提出了一种名为 CPQL 的新型时间效率方法，解决了扩散模型在更新时的时间效率和准确性指导方面的问题，从而实现了脱机强化学习的策略改进，并可以无缝地扩展到在线强化学习任务中，最终实验结果表明，CPQL 在 11 个脱机任务和 21 个在线任务中取得了新的最高性能，推理速度相比 Diffusion-QL 提高了近 45 倍。

Oct, 2023

利用先前的经验来学习比用于经验收集的行为策略更好的政策的离线强化学习方法。与行为克隆相比，离线强化学习可以使用非专家数据和多模态行为策略。然而，离线强化学习算法在处理分布偏移和有效表示策略方面面临挑战，因为训练过程中缺乏在线交互。既往研究在离线强化学习中使用条件扩散模型来获取表示多模态行为的表达性政策。然而，它们没有针对缓解分布偏移状态泛化问题进行优化。我们提出了一种新方法，将状态重构特征学习纳入最近的一类扩散策略中，以解决分布外泛化问题。状态重构损失促进对状态的更加描述性表示学习，从而减轻分布外状态引起的分布偏移。我们设计了一个二维多模态上下文强化学习环境来展示和评估我们提出的模型。我们在这个新的环境以及几个 D4RL 基准任务上评估了我们模型的性能，实现了最先进的结果。

Jul, 2023

该论文介绍了一种离线强化学习的方法，使用压缩的潜在技能建模支援轨迹序列，避免外推错误，并通过批量约束来学习 Q 函数。该方法通过学习的时间抽象潜在空间在离线强化学习任务中编码了更丰富的任务特定信息，改进了信用分配，并促进了更快的奖励传播。该方法在 D4RL 基准测试中表现出最先进的性能，特别擅长长期，稀疏奖励任务。

Sep, 2023

离线强化学习研究了优化策略的方法，使用扩散模型进行模拟，通过首选动作优化提高性能，在稀疏奖励任务中表现出竞争力或卓越性能，同时证明了抗噪声偏好优化的有效性。

May, 2024

这篇论文介绍了用于离线强化学习的训练扩散策略的先进技术。核心是一种均值回归的随机微分方程 (SDE)，它将复杂的动作分布转化为标准的高斯分布，然后在已知环境状态的条件下采样动作，这类似于典型的扩散策略。我们证明了这种 SDE 有一个解，可以用来计算策略的对数概率，从而产生一个熵正则化项，改善离线数据集的探索性能。为了减轻来自分布外数据点的不准确值函数的影响，我们进一步提出了学习 Q - 集合的下界，以实现更强壮的策略改进。通过将熵正则化的扩散策略与 Q - 集合结合在离线强化学习中，我们的方法在 D4RL 基准测试中实现了最先进的性能。

Feb, 2024

我们提出了一种从评论家模型和预训练的扩散行为模型中有效地提取确定性推理策略的方法，利用后者在优化过程中直接规范化行为分布的评分函数，从而在训练和评估期间完全避免计算密集型和耗时的扩散采样方案，扩散建模的强大生成能力使我们的方法在 D4RL 任务上将行动采样速度提高了 25 倍以上，同时仍保持着最先进的性能。

Oct, 2023

使用 Diffusion parameterized behavior policy 和 Implicit Q-learning (IQL) 模型，提出了一个新的 actor-critic 模型，称为 Implicit Diffusion Q-learning (IDQL)，能够处理 offline RL 问题中的 out-of-distribution actions。

Apr, 2023

本研究提出使用扩散模型来压缩行为多样性强化学习（QD-RL）中成千上万个策略，将存档压缩到单个生成模型中，达到 13 倍的压缩比例，同时恢复 98% 的原始奖励和 89% 的覆盖率。

May, 2023