Oct, 2022

信任区域策略优化与最优输运差异：连续动作的对偶性和算法

HTML
PDF
TL;DR本文提出了一种基于Wasserstein距离的Policy Optimization算法，称为Optimal Transport Trust Region Policy Optimization（OT-TRPO），用于连续状态-动作空间中的任务，通过提供一维对偶重构来避免无限维度优化问题，实现了对最优策略更新的分析推导，并在各种控制任务中进行了实验验证，证明了与最先进的方法相比，其优化效果更好。
发现论文，激发创造
  • 信任域策略优化

    本文提出了一种名为TRPO的实用算法，通过优化政策来达到保证单调改善的目的，并通过一系列实验展示了其在学习模拟机器人的Swimming、Hopping以及Walking，并使用屏幕图像玩Atari游戏等众多方面的优越表现。

    Feb, 2015

  • Trust-PCL: 一种用于连续控制的离线信任区域方法

    提出一种基于离线数据的信任区域方法Trust-PCL，能够在强化学习中稳定策略优化算法，使用相对熵正则化器优化最大回报目标的最优策略和状态值满足一组多步路径一致性，提高了样本效率和解决方案质量。

    Jul, 2017

  • 通过归一化流策略提升信赖域策略优化

    本文提出使用基于归一化流的策略改进了信任域策略搜索方法，通过KL散度约束构建信任域并采用归一化流的策略从以前的策略中心出发引入新的样本，有助于更好的探索和避免局部最优解，在高维度和复杂动力学任务中取得了优异的比较结果。

    Sep, 2018

  • 离散化连续动作空间的策略优化

    本文研究了对连续控制中动作空间的离散化对于基于策略优化的影响，发现动作空间的离散化采用可分解动作分布的策略可以有效地解决离散动作数量的爆炸性增长，并且在复杂动态高维任务上可以通过在策略中使用序数参数化引入自然排序从而获得性能显著提升的优越表现。

    Jan, 2019

  • 自适应信任域策略优化：正则化MDPs的全局收敛和更快速率

    本文考虑在强化学习中使用的一种流行算法Trust region policy optimization（TRPO）与传统的凸分析中自然的信任域方法之间的关系，证明了TRPO的适应性调节机制实际上是传统信任域方法的RL版本，并在规则化MDP中，展示了快速收敛速率的结果，这是关于规则化即时成本或奖励时在RL中的首个更好的结果。

    Sep, 2019

  • 可微分信任域层用于深度强化学习

    本文提出了可微分的神经网络层来通过闭合形式的投影来执行深度高斯策略的信任区域，为Gaussian分布导出了基于KL散度、Wasserstein L2距离和Frobenius范数的信任区域投影。实验证明，这些投影层可以实现类似或更好的结果，而且几乎对于具体的实现选择是不敏感的。

    Jan, 2021

  • 针对随机策略的无信赖区域策略优化

    本文提出了一个名为TREFree的算法，该算法采用广义代理目标来替代策略上的可信区间约束并在实践中通过保守优化广义目标来有效实施，从而获得更好的策略绩效和样本效率。

    Feb, 2023

  • 基于度量感知的信赖域算法保证收敛的策略优化

    本文探讨基于KL散度的信任域方法在强化学习中的应用，进而提出基于Wasserstein和Sinkhorn两种新的信任域方法用于策略优化，并在多个任务中进行了实验验证。

    Jun, 2023

  • 通过两阶段KL惩罚实现保证的信任区域优化

    应用KL惩罚本身几乎足以强制执行信任区域，在实践中通过少于5%的额外梯度步骤引入"修复"阶段足以保证在每个策略更新时执行信任区域，产生与其他信任区域方法相竞争的结果。

    Dec, 2023

  • 用于连续空间约束MDP的确定性策略梯度原始-对偶方法

    本研究解决了连续状态和动作空间的约束马尔可夫决策过程（MDP）中计算确定性最优策略的问题。我们提出了一种新的确定性策略梯度原始-对偶（D-PGPD）算法，具有非渐近收敛性，能有效地更新确定性策略和对偶变量，且在机器人导航和流体控制这两种连续控制问题中验证了其有效性。此方法是首个针对连续空间约束MDP提出的确定性策略搜索方法。

    Aug, 2024