ICMLNov, 2023

离线强化学习的支持信任域优化

PDF
TL;DR在离线强化学习中，基于行为策略的支持约束的支持下的支持信任区域优化（STR）保证了严格的策略改进，并在包括近似误差和采样误差的情况下保证步骤的安全策略改进，其理论和实证结果验证了其在 MuJoCo 运动领域和具有更具挑战性的 AntMaze 领域的卓越性能。
offline reinforcement learningout-of-distribution issueextrapolation errorsupported trust region optimizationpolicy improvement
发现论文，激发创造
  • 不确定性感知策略优化：一种稳健、自适应的信任区域方法

    在强化学习中，针对数据量有限的情况，提出了一种基于不确定性管理技术的深度策略优化方法，可以生成稳健的策略更新，适应学习过程中的不确定性水平。

    Dec, 2020

  • 离线强化学习的支持策略优化

    本文提出了一种名为 SPOT 的方法，它是基于密度支持约束的理论正式化，采用了基于 VAE 的密度估计器来明确建模行为策略的支持集，并提出了一个简单而有效的基于密度的正则化项，可非侵入地插入到现成的 off-policy RL 算法中。SPOT 在离线 RL 的标准基准测试中实现了最先进的性能。由于其可插拔的设计，来自 SPOT 的离线预训练模型也可以无缝地应用于在线微调。

    Feb, 2022

  • 信任域策略优化

    本文提出了一种名为 TRPO 的实用算法，通过优化政策来达到保证单调改善的目的，并通过一系列实验展示了其在学习模拟机器人的 Swimming、Hopping 以及 Walking，并使用屏幕图像玩 Atari 游戏等众多方面的优越表现。

    Feb, 2015

  • 模型集成信任区域策略优化

    通过使用深度神经网络同时学习模型和策略，我们分析了基于模型的增强学习方法的行为，并展示出学习到的策略倾向于利用模型学习不足的区域，导致训练不稳定。为了解决这个问题，我们提出使用模型集合来维护模型的不确定性并规范学习过程，并进一步展示，与 “Backpropagation through time” 相比，使用 “likelihood ratio” 导数可以获得更加稳定的学习。通过我们的方法 ME-TRPO，在具有挑战性的连续控制基准任务中，显著减少了比基于模型的深度 RL 方法所需的样本数量。

    Feb, 2018

  • 针对随机策略的无信赖区域策略优化

    本文提出了一个名为 TREFree 的算法，该算法采用广义代理目标来替代策略上的可信区间约束并在实践中通过保守优化广义目标来有效实施，从而获得更好的策略绩效和样本效率。

    Feb, 2023

  • Trust-PCL: 一种用于连续控制的离线信任区域方法

    提出一种基于离线数据的信任区域方法 Trust-PCL，能够在强化学习中稳定策略优化算法，使用相对熵正则化器优化最大回报目标的最优策略和状态值满足一组多步路径一致性，提高了样本效率和解决方案质量。

    Jul, 2017

  • 基于高效信任区域的安全增强学习与低偏差分布演员 - 评论家

    本文提出了一种基于信任区域方法的安全分布式强化学习方法，包括针对分布式评论家的估计偏差的降低，用 Q 函数表示的信任区域方法的新代理以及从不安全的初始代理找到满足所有约束的代理的梯度集成方法，实验表明，该方法表现出最小的约束违规，同时实现了高收益。

    Jan, 2023

  • 多智能体信任区域策略优化

    该研究将信任区域策略优化（TRPO）扩展到多智能体强化学习（MARL）问题，提出了一种基于分布式共识优化问题的去中心化 MARL 算法 MATRPO，该算法能够基于本地观察和私人奖励优化分布式策略，实现完全的去中心化和保护隐私。实验表明，MATRPO 在复杂的 MARL 任务中表现出了强韧的性能。

    Oct, 2020

  • 多智能体信任域优化的博弈论方法

    通过在策略空间中进行博弈论分析，MATRL 提出了一种用于多智能体学习的多智能体信赖域学习方法，该方法可在解决纳什均衡的元游戏级别上找到稳定的改进方向，并在离散和连续的多人游戏中明显优于基线。

    Jun, 2021

  • 矩阵低秩信任域策略优化

    该研究提出了一种基于低秩矩阵的模型作为 Trust Region Policy Optimization（TRPO）算法参数的有效替代方法，将随机策略的参数整合成一个矩阵并应用矩阵补全技术，从而降低计算和样本复杂度，并保持相似的综合奖励。

    May, 2024