Oct, 2022

信任区域策略优化与最优输运差异：连续动作的对偶性和算法

PDF
TL;DR本文提出了一种基于 Wasserstein 距离的 Policy Optimization 算法，称为 Optimal Transport Trust Region Policy Optimization（OT-TRPO），用于连续状态 - 动作空间中的任务，通过提供一维对偶重构来避免无限维度优化问题，实现了对最优策略更新的分析推导，并在各种控制任务中进行了实验验证，证明了与最先进的方法相比，其优化效果更好。
发现论文，激发创造
  • 基于度量感知的信赖域算法保证收敛的策略优化

    本文探讨基于 KL 散度的信任域方法在强化学习中的应用，进而提出基于 Wasserstein 和 Sinkhorn 两种新的信任域方法用于策略优化，并在多个任务中进行了实验验证。

    Jun, 2023

  • 通过无关行为的发散正则化来实现稳定的政策优化

    在这篇论文中，我们提出了一种新的算法，它通过一种接近性项稳定了策略改进，并限制由连续策略引发的折扣状态行动访问分布彼此接近，并通过离线训练和对抗性学习的方式学习这种接近性项。我们在基准高维控制任务中实证表明，我们提出的方法可以对稳定性产生有益影响，并提高最终性能.

    Mar, 2020

  • 信任域策略优化

    本文提出了一种名为 TRPO 的实用算法，通过优化政策来达到保证单调改善的目的，并通过一系列实验展示了其在学习模拟机器人的 Swimming、Hopping 以及 Walking，并使用屏幕图像玩 Atari 游戏等众多方面的优越表现。

    Feb, 2015

  • 可微分信任域层用于深度强化学习

    本文提出了可微分的神经网络层来通过闭合形式的投影来执行深度高斯策略的信任区域，为 Gaussian 分布导出了基于 KL 散度、Wasserstein L2 距离和 Frobenius 范数的信任区域投影。实验证明，这些投影层可以实现类似或更好的结果，而且几乎对于具体的实现选择是不敏感的。

    Jan, 2021

  • 自适应信任域策略优化：正则化 MDPs 的全局收敛和更快速率

    本文考虑在强化学习中使用的一种流行算法 Trust region policy optimization（TRPO）与传统的凸分析中自然的信任域方法之间的关系，证明了 TRPO 的适应性调节机制实际上是传统信任域方法的 RL 版本，并在规则化 MDP 中，展示了快速收敛速率的结果，这是关于规则化即时成本或奖励时在 RL 中的首个更好的结果。

    Sep, 2019

  • 针对随机策略的无信赖区域策略优化

    本文提出了一个名为 TREFree 的算法，该算法采用广义代理目标来替代策略上的可信区间约束并在实践中通过保守优化广义目标来有效实施，从而获得更好的策略绩效和样本效率。

    Feb, 2023

  • Trust-PCL: 一种用于连续控制的离线信任区域方法

    提出一种基于离线数据的信任区域方法 Trust-PCL，能够在强化学习中稳定策略优化算法，使用相对熵正则化器优化最大回报目标的最优策略和状态值满足一组多步路径一致性，提高了样本效率和解决方案质量。

    Jul, 2017

  • 大规模最优输运的随机优化

    提出一种新的随机优化算法来应对机器学习中遇到的大规模问题，该方法利用任意分布的样本来避免将密度值离散化，并提供了可证明收敛的方法，输出正确的距离。

    May, 2016

  • 自适应上界置信度增强的近端策略优化

    通过引入自适应 PPO-CLIP（Adaptive-PPO）方法，动态探索和利用带卡尔曼滤波的剪辑边界，在线训练过程中改善 PPO 的性能，并通过大量实验初步证明我们的自适应 PPO 对比 PPO-CLIP 表现出的样本效率和性能。

    Dec, 2023

  • 关于投影鲁棒最优输运的样本复杂度和模型错误问题的研究

    本文利用基于投影健壮性的最优输运（OT）距离作为损失函数来研究参数推断，基于多维维度的视角建立了多个基本统计属性，提出了平均最优输运（IPRW）距离，并给出了复杂性界限和渐进保证。最后，在模型错误说明下给出了最小 PRW 估计量的两种渐进保证，并为具有投影维数大于 1 的 PRW 设计了新颖的变分分析和统计理论的组合。

    Jun, 2020