Mar, 2023

具有双重正则化的马尔可夫决策过程：强鲁棒性和正则化之间的等价性

PDF
TL;DR本研究致力于学习具有鲁棒特性的 Markov 决策过程。通过分析规则化的 Markov 决策过程，我们建立了奖励鲁棒 Markov 决策过程和规则化 Markov 决策过程之间的联系，并将该关系扩展到具有不确定性转移的 Markov 决策过程。进一步地，我们推广了规则化 MDPs 到双重规则化 MDPs，并在表格和物理领域进行了数值验证。
发现论文，激发创造
  • 两次正则化的 MDPs 及其鲁棒性与正则化之间的等价性

    该论文提出了一种新的方法来学习具有不确定性的鲁棒 Markov 决策过程，即基于正则化的鲁棒 MDP 算法，与传统的鲁棒优化方法相比，它能够有效地降低计算复杂度并提高可扩展性。

    Oct, 2021

  • 正则化鲁棒 MDPs 和风险敏感 MDPs：等价性，策略梯度和采样复杂度

    论文探讨了基于强化学习的鲁棒性 Markov 决策问题，提出了风险敏感 MDP 和正则化鲁棒 MDP 之间的等价关系，并且导出用于正则化鲁棒 MDP 问题的策略梯度定理，提出了基于样本的离线学习算法 RFZI 来解决正则化鲁棒 MDP 问题，并分析了算法的样本复杂度。

    Jun, 2023

  • 基于正则化的鲁棒马尔可夫决策过程高效策略迭代

    本文通过探究 s-rectangular Lp 鲁棒 MDP 和策略正则化 MDP 的等价性，发现在 Optimal Bellman 算子中阈值策略在 top k 动作中起着重要作用，并引入了新的概念如优化和阈值。

    May, 2022

  • 强化学习中的分布鲁棒性和正则化

    本文介绍了一种新的 Wasserstein 分布强化学习框架，并将其与正则化相联系，从而为解决强化学习中的外部不确定性问题提供一个新的实用工具。

    Mar, 2020

  • 通过频率正规化解决非矩形奖励鲁棒 MDPs

    研究强健的马尔可夫决策过程中的关键问题，如不确定性集合、计算可行性以及策略访问频率正则化方法，并引入一种收敛的策略梯度方法进行分析。

    Sep, 2023

  • 强健的马尔可夫决策流程即时学习

    本文介绍了一种鲁棒的任意学习方法，该方法结合了贝叶斯推断模型和计算稳健策略的方法，以不确定性马尔科夫决策过程（uMDPs）为基础，并通过实验验证了该方法的有效性。

    May, 2022

  • 通过生成模型实现鲁棒强化学习的样本复杂性

    该研究提出了一种基于模型的强化学习算法，用于学习在标准和不确定的模型下最优的稳健控制策略，并考虑了不同形式的不确定性集合

    Dec, 2021

  • 鲁棒平均奖励马尔科夫决策过程

    本篇论文研究鲁棒平均回报 MDP 问题，旨在找到一种策略，使其在不确定性的 MDP 集合中的最坏平均回报最优化。作者探讨了利用折扣 MDP 实现这个问题，证明了当折扣因子趋近于 1 时，鲁棒折扣价值函数收敛于鲁棒平均回报，并设计了鲁棒动态规划方法。同时，也考虑了直接处理鲁棒平均回报 MDP 问题的情况，并导出了其鲁棒 Bellman 方程，设计了一种鲁棒相对价值迭代算法来求解其策略。

    Jan, 2023

  • 鲁棒受限制马尔科夫决策过程：在模型不确定性下进行软受限制鲁棒策略优化

    本文介绍了一个基于 Constrained Markov Decision Process（CMDP）和 Robust Markov Decision Process（RMDP）的框架，即 Robust Constrained-MDPs（RCMDP），用于设计强大而稳健的强化学习算法，并提供相应的约束满足保证。同时，还将这个框架用于从模拟到真实世界的政策转移中，以实现对模型不确定性的强鲁棒性和安全保障。最后，我们在库存管理问题上验证了这个框架的有效性。

    Oct, 2020

  • L1 - 鲁棒马尔可夫决策过程的部分策略迭代

    本文探讨了在考虑转移概率不确定性时，如何高效地解决具有 s - 和 sa - 矩形模糊集定义的鲁棒 MDP 问题，并提出了一种新的策略迭代方案和快速计算鲁棒 Bellman 算子的方法。实验结果表明，这些方法比使用线性规划求解器结合鲁棒值迭代的现有方法快得多。

    Jun, 2020