IJCAIJul, 2019

回顾性信任区域策略优化

PDF
TL;DR我们提出了一种新的强化学习算法：Hindsight Trust Region Policy Optimization，它通过利用 hindsight 来提高稀疏抽奖的表现，并引入了 QKL 和 HGF 两种方法来提高学习稳定性和表现。我们在各种稀疏抽奖任务中评估了 HTRPO，包括简单的基准测试、基于图像的 Atari 游戏和模拟机器人控制。消融研究表明，QKL 和 HGF 对学习稳定性和高性能有很大贡献。比较结果表明，在所有任务中，HTRPO 始终优于 TRPO 和 HPG。
发现论文，激发创造
  • 基于 Bandit 反馈的乐观策略优化

    本研究考虑模型基于强化学习中的政策优化方法，提出了一种乐观的信任域策略优化算法，在离散情况下，对于未知转换和奖励反馈的情况，获得了首个亚线性 Regret 的下界。

    Feb, 2020

  • 多智能体强化学习中的信任区域策略优化

    本文介绍了针对到多智能体强化学习 (MARL) 的信任区域方法，并展示了 Heterogeneous-Agent Trust Region Policy Optimisation 和 Heterogeneous-Agent Proximal Policy Optimisation 算法的成功应用。

    Sep, 2021

  • 自适应信任域策略优化：正则化 MDPs 的全局收敛和更快速率

    本文考虑在强化学习中使用的一种流行算法 Trust region policy optimization（TRPO）与传统的凸分析中自然的信任域方法之间的关系，证明了 TRPO 的适应性调节机制实际上是传统信任域方法的 RL 版本，并在规则化 MDP 中，展示了快速收敛速率的结果，这是关于规则化即时成本或奖励时在 RL 中的首个更好的结果。

    Sep, 2019

  • 信任域策略优化

    本文提出了一种名为 TRPO 的实用算法，通过优化政策来达到保证单调改善的目的，并通过一系列实验展示了其在学习模拟机器人的 Swimming、Hopping 以及 Walking，并使用屏幕图像玩 Atari 游戏等众多方面的优越表现。

    Feb, 2015

  • 针对随机策略的无信赖区域策略优化

    本文提出了一个名为 TREFree 的算法，该算法采用广义代理目标来替代策略上的可信区间约束并在实践中通过保守优化广义目标来有效实施，从而获得更好的策略绩效和样本效率。

    Feb, 2023

  • 矩阵低秩信任域策略优化

    该研究提出了一种基于低秩矩阵的模型作为 Trust Region Policy Optimization（TRPO）算法参数的有效替代方法，将随机策略的参数整合成一个矩阵并应用矩阵补全技术，从而降低计算和样本复杂度，并保持相似的综合奖励。

    May, 2024

  • 基于信赖域引导的近端策略优化

    对 Proximal policy optimization 的探索行为进行了深入分析，提出了一种名为 Trust Region-Guided PPO 的新的策略优化方法，通过自适应调整裁剪范围解决了初始条件差的情况下缺乏探索的问题，并证明其相较于原始的 PPO 算法有更好的性能表现。

    Jan, 2019

  • 反思式策略优化

    该论文介绍了一种新的基于策略的扩展方法 —— 反思性策略优化（RPO），它将过去和未来的状态 - 动作信息结合起来以进行策略优化，从而使智能体能够自我审视并在当前状态下修改其动作。理论分析证实了政策绩效的递增和解集空间的收缩，从而加快了收敛过程。经验证据表明，在两个强化学习基准测试中，RPO 在样本效率方面表现出了显著的优势。

    Jun, 2024

  • 多智能体信任区域策略优化

    该研究将信任区域策略优化（TRPO）扩展到多智能体强化学习（MARL）问题，提出了一种基于分布式共识优化问题的去中心化 MARL 算法 MATRPO，该算法能够基于本地观察和私人奖励优化分布式策略，实现完全的去中心化和保护隐私。实验表明，MATRPO 在复杂的 MARL 任务中表现出了强韧的性能。

    Oct, 2020

  • 基于探索驱动的强化学习策略优化在 RLHF 中的理论洞察：高效数据利用

    基于人类反馈的强化学习 (RLHF) 在仅依赖少量人类反馈的情况下取得了令人瞩目的实证成功。本文提出了一种基于策略优化的 RLHF 算法 (PO-RLHF)，该算法不假设对奖励函数有先验知识，并通过基于轨迹的比较反馈来推断奖励函数。我们提供了具有低查询复杂度的 PO-RLHF 的性能界限，从而揭示了为什么少量人类反馈可能足以获得良好的 RLHF 性能。我们的工作的一个重要创新是采用轨迹级椭圆势分析技术来推断比较查询下的奖励函数参数，而非使用奖励观测。我们在线性和神经函数逼近两种情景下提供和分析了算法：PG-RLHF 和 NN-PG-RLHF。

    Feb, 2024