Jun, 2023

使用梯度对抗不确定性：通过扩散分数匹配实现脱机强化学习

PDF
TL;DR该研究探究了使用离线 RL 和 IL 进行策略搜索算法的离线优化范式，并要求更加小心地考虑这些方法是如何与不确定性评估相互作用的。同时，该研究提出了一种名为 Score-Guided Planning（SGP）的规划算法，它利用分数匹配来实现高维问题中的一阶规划。
offline reinforcement learningimitation learninggradient-based policy search methodsuncertainty estimationscore-guided planning
发现论文，激发创造
  • 从零开始设计离线强化学习目标

    本文提出了一种基于对比学习框架的评分指标，能够更准确地排名离线策略并用于监督式的离线策略优化，其在各种离线增强学习基准测试中表现优异，需求的策略网络容量更低、无需额外的网络配合。

    Jan, 2023

  • 基于不确定性的分布离线强化学习

    提出了一种不确定性感知的离线强化学习方法，同时解决了认知不确定性和环境随机性，能够学习风险规避策略并表征折扣累积奖励的整个分布。通过在风险敏感和风险中立基准测试中进行全面实验评估，证明了其卓越的性能。

    Mar, 2024

  • 分布鲁棒优化有效地解决离线强化学习问题

    本文利用不确定性集来直接建模转移内核的不确定性，并采用分布稳健优化方法，通过优化在不确定性集中的最坏情况下的性能来解决先前研究所面临的有限数据和分布转移的问题。

    May, 2023

  • 离线基于模型的优化：通过策略引导梯度搜索

    离线优化是一个新兴的问题，在许多实验工程领域，包括蛋白质、药物或飞机设计，由于在线实验以收集评估数据费时或危险，必须在仅有一组固定输入的离线评估基础上优化一个未知函数。为了避免这种情况，可以学习一个未知函数的代理模型并对其进行优化，但这种简单的优化器容易对离线数据集之外的输入过于高估代理模型（可能会因为在有偏函数评估样本上过度拟合）。为填补这一重要空白，我们将离线优化重新定义为一个离线强化学习问题，引入了一种新的学习搜索视角。我们的建议是通过明确学习从离线数据创建的代理模型中获得最佳策略来进行梯度搜索。我们对多个基准测试的实证结果表明，所学习的优化策略能够与现有的离线代理模型相结合，显著提高优化性能。

    May, 2024

  • 通过 Q-Score 匹配从奖励中学习扩散模型策略

    通过利用扩散模型的评分结构与 Q 函数的动作梯度之间的链接结构，我们提出了一种新的学习扩散模型策略的方法，称为 Q-score 匹配，并对该方法提供了理论上的证明。我们在模拟环境中进行实验，以证明我们提出的方法的有效性，并与流行的基准进行比较。

    Dec, 2023

  • 基于不确定性和平滑性的稳健离线到在线强化学习

    提出了一种名为 Robust Offline-to-Online (RO2O) 算法的方法，通过不确定性和平滑性来增强离线策略，并在在线适应中减少性能下降，实验结果表明其在促进稳定的离线到在线学习方面具有优越性。

    Sep, 2023

  • 通过扩散行为对得分正则化策略优化

    我们提出了一种从评论家模型和预训练的扩散行为模型中有效地提取确定性推理策略的方法，利用后者在优化过程中直接规范化行为分布的评分函数，从而在训练和评估期间完全避免计算密集型和耗时的扩散采样方案，扩散建模的强大生成能力使我们的方法在 D4RL 任务上将行动采样速度提高了 25 倍以上，同时仍保持着最先进的性能。

    Oct, 2023

  • 无需重要性采样的 Actor-Critic 方法的离线校正

    本文研究了基于离线数据的深度强化学习算法，提出了一种新的策略相似度度量方法来提高算法的采样效率和泛化能力，并且证明了该方法可以实现安全的离线学习。实验证明，该方法相较于其他竞争算法在大多数情况下能够更高效地提高学习效率。

    Aug, 2022

  • 离线目标条件强化学习的评分模型

    基于离线数据集、无初始监督、且没有判别器的分布匹配方法 (SMORe) 在 GCRL 中取得了显著的性能提升。

    Nov, 2023

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021