Mar, 2018

软 - 鲁棒的演员 - 评论家策略梯度算法

PDF
TL;DR本文提出了一种基于 Soft-Robust Actor-Critic 算法的 Robust Reinforcement Learning 方法，能够学习针对不确定性模型的最优策略且避免过于保守，实验证明其收敛性和高效性。
robust reinforcement learningsoft-robust actor-criticmodel uncertaintyconvergenceregular learning methods
发现论文，激发创造
  • 软最大熵深度强化学习中的 Stochastic Actor-Critic 算法

    本文提出一种基于最大熵强化学习框架的深度离策略演员 - 评论家算法，该算法通过离策略更新和稳定的随机演员 - 评论家公式结合，实现了在一系列连续控制基准任务上的最先进表现。

    Jan, 2018

  • 最坏情况策略梯度

    该研究提出了一种基于 Actor-Critic 框架和条件风险价值的深度强化学习方法，应用于驾驶模拟中，实现了在保证安全的前提下尽量提高任务完成效率，并且相比于其他深度强化学习方法，该方法更具有泛化性。

    Nov, 2019

  • 面向分布偏移的风险敏感型软演员 - 评论家算法的深度强化学习

    我们研究了深度强化学习算法在运营研究领域的上下文多阶段随机组合优化问题中对分布变化的鲁棒性。我们提出了一种新的风险敏感深度强化学习算法，并通过数值实验验证其对现实分布变化的鲁棒性。通过与风险中性算法和两种基准方法进行比较，我们展示了我们的算法在上下文多阶段随机组合优化问题中鲁棒性的优越性。

    Feb, 2024

  • 软性演员 - 评论家算法及其应用

    本文介绍了一种基于最大熵强化学习框架的离线演员 - 评论家算法 Soft Actor-Critic，其中演员旨在同时最大化期望回报和熵，以在任务中成功执行尽可能随机的动作。作者通过对其进行一系列改进，如约束模型等，提高了模型的稳定性和训练速度，并在基准任务以及四足机器人的运动和灵巧手的机器人操作等现实世界挑战任务中取得了最先进的性能，在样本效率和渐近性能方面优于以往的在线和离线算法。

    Dec, 2018

  • 基于函数逼近的稳健强化学习的自然动态演员 - 评论家

    我们提出了两种新的不确定性集合形式，一种基于双重采样，另一种基于积分概率度量，以应对训练模拟器和测试环境之间的模型不匹配问题，并通过引入函数近似的鲁棒自然行为者 - 评论者 (RNAC) 方法，为所提出的 RNAC 算法在有限时间内收敛到最优鲁棒策略提供了保证，并在多个 MuJoCo 环境和实际 TurtleBot 导航任务中展示了所学习策略的鲁棒性能。

    Jul, 2023

  • DSAC: 基于分布式的软演员 - 评论家算法用于风险敏感强化学习

    DSAC 是一种新的强化学习算法，它通过利用积累奖励的分布信息来获得更好的性能。通过将 SAC 与基本分布式目标观点无缝集成， DSAC 考虑了行动和回报中的随机性，并在几个连续控制基准测试中超越了现有技术基线。除此之外，我们还探讨了三个具体的与风险相关的度量标准：百分位数，均值 - 方差和扭曲期望，通过分布建模实现了 RL 中的风险敏感。

    Apr, 2020

  • 部分观察多智能体环境下的演员 - 评论家策略优化

    本研究讨论了基于梯度上升的策略梯度和演员 - 评论家算法在部分可观测多智能体环境中的角色，并通过对零和不完全信息游戏等模型的建模来优化模型自由多智能体增强学习的表现。

    Oct, 2018

  • 双重稳健离线演员 - 评论家算法：收敛和最优性

    本文提出了一种新的基于 actor-critic 算法的离策略强化学习算法 DR-Off-PAC，通过利用已学习的干扰函数来降低估计误差并减少采样复杂度，同时采用单时间尺度结构，可以更加高效地实现一次更新。其中采用密度比方法来调整分布不匹配以稳定收敛，并且通过分析样本复杂度证明了算法渐进的收敛速率。

    Feb, 2021

  • 分布式鲁棒强化学习

    本文提出了一种基于风险规避的探索策略，使用分布式鲁棒策略迭代方案来确保学习过程中的安全，并在连续状态 / 操作空间中扩展了此方法，得出了分布式鲁棒软演员 - 批评家算法的实用算法。

    Feb, 2019

  • 动作鲁棒性强化学习及其在连续控制中的应用

    研究了如何在存在不确定性的情况下通过改进强化学习算法来实现机器人动作鲁棒性，以此应对干扰和突发情况，并探讨其潜在的正则化效果。

    Jan, 2019