基于正则化的鲁棒马尔可夫决策过程高效策略迭代

May, 2022

基于正则化的鲁棒马尔可夫决策过程高效策略迭代

Efficient Policy Iteration for Robust Markov Decision Processes via Regularization

Navdeep Kumar, Kfir Levy, Kaixin Wang, Shie Mannor

TL;DR本文通过探究 s-rectangular Lp 鲁棒 MDP 和策略正则化 MDP 的等价性，发现在 Optimal Bellman 算子中阈值策略在 top k 动作中起着重要作用，并引入了新的概念如优化和阈值。

Abstract

Robust markov decision processes (MDPs) provide a general framework to model decision problems where the system dynamics are changing or only partially known. Efficient methods for some \texttt{sa}-rectangular robust MDPs exist, using its equivalence with reward regularized MDPs, gener

markov decision processes robustness policy improvement optimal policy threshold policies

发现论文，激发创造

L1 - 鲁棒马尔可夫决策过程的部分策略迭代

本文探讨了在考虑转移概率不确定性时，如何高效地解决具有 s - 和 sa - 矩形模糊集定义的鲁棒 MDP 问题，并提出了一种新的策略迭代方案和快速计算鲁棒 Bellman 算子的方法。实验结果表明，这些方法比使用线性规划求解器结合鲁棒值迭代的现有方法快得多。

Jun, 2020

具有双重正则化的马尔可夫决策过程：强鲁棒性和正则化之间的等价性

本研究致力于学习具有鲁棒特性的 Markov 决策过程。通过分析规则化的 Markov 决策过程，我们建立了奖励鲁棒 Markov 决策过程和规则化 Markov 决策过程之间的联系，并将该关系扩展到具有不确定性转移的 Markov 决策过程。进一步地，我们推广了规则化 MDPs 到双重规则化 MDPs，并在表格和物理领域进行了数值验证。

Mar, 2023

两次正则化的 MDPs 及其鲁棒性与正则化之间的等价性

该论文提出了一种新的方法来学习具有不确定性的鲁棒 Markov 决策过程，即基于正则化的鲁棒 MDP 算法，与传统的鲁棒优化方法相比，它能够有效地降低计算复杂度并提高可扩展性。

Oct, 2021

稳健性马尔可夫决策过程理论研究：样本复杂度与渐近性

本文研究了鲁棒马尔可夫决策过程的最优鲁棒策略和价值函数的非渐近和渐近性能，并考虑了不同的不确定性集。实验验证了最优鲁棒价值函数在理论和实际应用中均呈现出典型的 √n 比例的渐近正态性。

May, 2021

正则化鲁棒 MDPs 和风险敏感 MDPs：等价性，策略梯度和采样复杂度

论文探讨了基于强化学习的鲁棒性 Markov 决策问题，提出了风险敏感 MDP 和正则化鲁棒 MDP 之间的等价关系，并且导出用于正则化鲁棒 MDP 问题的策略梯度定理，提出了基于样本的离线学习算法 RFZI 来解决正则化鲁棒 MDP 问题，并分析了算法的样本复杂度。

Jun, 2023

通过频率正规化解决非矩形奖励鲁棒 MDPs

研究强健的马尔可夫决策过程中的关键问题，如不确定性集合、计算可行性以及策略访问频率正则化方法，并引入一种收敛的策略梯度方法进行分析。

Sep, 2023

s - 矩形鲁棒马尔可夫决策过程的策略梯度算法

本文提出了一种新颖的稳健策略梯度方法 (RPG) 用于 s - 矩形稳健马尔可夫决策过程 (MDP)。我们首次导出了闭式的对抗性核，并证明它是名义核的一阶扰动。这使我们能够得到一个类似于在非稳健 MDP 中使用的 RPG 的算法，但具有稳健的 Q 值函数和一个附加的校正项。稳健的 Q 值和校正项都可以高效计算，因此我们方法的时间复杂度与非稳健 MDP 的时间复杂度相匹配，比现有的黑盒方法快得多。

Jan, 2023

鲁棒马尔科夫决策过程的一阶策略优化

研究如何解决具有不确定转移内核的折现，有限状态，有限行动空间 MDP 的强鲁棒性问题，旨在寻找一个抵抗传递不确定性的最佳策略。与标准 MDP 规划相比，本文提出了一个名为 RPMD 的策略型一阶方法，并对于两种递增步长的情形，建立了寻找 ε- 最优策略的 O (log (1/ε)) 和 O (1/ε) 迭代复杂度。本文还提出了一种名为 SRPMD 的随机变量。

Sep, 2022

正则化马尔科夫决策过程理论

本文提出了一种正则化的马尔可夫决策过程的一般理论，结合正则化贝尔曼算子和 Legendre-Fenchel 变换，可以分析诸如 Trust Region Policy Optimization、Soft Q-learning、Stochastic Actor Critic 或 Dynamic Policy Programming 等经典算法的错误传播分析，并与 Mirror Descent 进行了连接。

Jan, 2019

熵正则化马尔科夫决策过程的统一视角

提出一种针对 Markov 决策过程的熵正则化平均回报强化学习的一般性框架，通过使用条件熵来对联合状态 - 动作分布进行正则化，将一些先进的熵 - 正则化强化学习算法形式化为 Mirror Descent 或 Dual Averaging 的近似变体，并在简单的强化学习实验中展示了各种正则化技术对学习性能的影响。

May, 2017