具有模型误差的连续控制强化学习

Jun, 2019

具有模型误差的连续控制强化学习

Robust Reinforcement Learning for Continuous Control with Model Misspecification

Daniel J. Mankowitz, Nir Levine, Rae Jeong, Yuanyuan Shi, Jackie Kay...

TL;DR提供了一个框架，可将稳健性合并到持续控制强化学习算法中，通过学习最优策略并推导相应的鲁棒性熵正则化贝尔曼收缩算子来实现，并进一步引入了较不保守的软稳健熵正则化目标及相应贝尔曼算子，实验证明在九个领域的环境扰动及高维度的机器人控制方面，稳健和软稳健策略均优于无鲁棒性策略，并提供了多个探究实验来深入理解框架的其它特性。

Abstract

We provide a framework for incorporating robustness -- to perturbations in the transition dynamics which we refer to as model misspecification -- into continuous control →

robustness continuous control reinforcement learning worst case expected return entropy-regularized

发现论文，激发创造

动作鲁棒性强化学习及其在连续控制中的应用

研究了如何在存在不确定性的情况下通过改进强化学习算法来实现机器人动作鲁棒性，以此应对干扰和突发情况，并探讨其潜在的正则化效果。

Jan, 2019

V-MPO：基于最大后验策略优化的离散与连续控制的策略更新算法

本文研究了一种新的强化学习方法 V-MPO，基于学习到的状态值函数进行策略迭代以提高性能，在多个测试套件中实现了更好的成绩，在高维度、连续动作空间的问题中也取得了成功。

Sep, 2019

最大后验策略优化

介绍了一种基于最大后验策略优化的强化学习算法，并开发出两种离线策略算法，证明了它们在深度强化学习方面与现有方法的竞争力，并在连续控制方面提高了样本效率，避免了过早收敛和对超参数设置的鲁棒性。

Jun, 2018

基于概率模型预测控制的高效数据强化学习

本文提出了基于概率模型预测控制（MPC）的基于模型的 RL 框架，以减少与环境的相互作用次数的方法。该方法使用高斯过程学习概率转换模型来减少模型误差的影响，同时使用 MPC 找到最小化预期长期成本的控制序列，以达到在受限环境下使用 RL 的目的。

Jun, 2017

基于模型的强化学习在连续控制中的后验采样

本文研究了连续状态动作空间中强化学习的基于模型的后验抽样（PSRL），提出了第一个后验抽样的遗憾上界，并开发了 MPC–PSRL 算法来选择动作，通过贝叶斯线性回归捕获模型中的不确定性，在基准连续控制任务中实现了最先进的样本效率，并与无模型算法的渐近性能相匹配。

Nov, 2020

具有对抗性辅助模型的强化学习鲁棒模型

应用鲁棒 MDPs 框架及引入一种新型的学习过渡模型，该研究在模型为基础的环境中通过辅助悲观模型来提高策略的鲁棒性，并在实验中展示了该模型在失真 MDPs 中提高学习策略性能的显著改进。

Jun, 2024

基于概率模型的策略搜索学习鲁棒控制器

通过世界模型估计真实环境以逼近最优策略的基于模型的强化学习方法，通过在高斯过程动态模型中强制施加似然噪声的下限来正则化策略更新，从而得到更健壮的控制器。

Oct, 2021

模型不匹配下的强化学习

论文研究了缺失真实环境信息的强化学习问题，将鲁棒 MDP 框架扩展到无模型参数条件下的 RL 设置中，提出了三个具有鲁棒性的 Q-learning、SARSA 和 TD-learning 算法，并通过函数逼近扩展到大规模 MDPs，证明了其收敛性，并给出了保证局部最小的随机梯度下降算法。

Jun, 2017

深度强化学习中的鲁棒策略优化

本文介绍了一种名为 Robust Policy Optimization 的算法，该算法应用于强化学习中，利用扰动分布来提高策略的熵，提高探索性能，取得了比 PPO 等算法更好的性能表现，并在多个环境中表现出鲁棒性能。

Dec, 2022

模型不匹配下的受限增强学习

在训练环境下，现有的关于约束强化学习（RL）的研究可能可以获得良好的策略。然而，在真实环境中部署时，由于训练与真实环境之间可能存在模型不匹配，它可能很容易违反最初满足的约束。为了解决上述挑战，我们将问题形式化为模型不确定性下的约束强化学习，即旨在学习一个能够优化奖励并同时满足模型不匹配下的约束的良好策略。我们提出了一种名为鲁棒约束策略优化（RCPO）的算法，这是一种适用于大型 / 连续状态空间且在训练期间每次迭代都具有最坏情况奖励改进和约束违规的理论保证的算法。我们在一组具有约束条件的强化学习任务上展示了我们算法的有效性。

May, 2024