该论文提出了一种新的方法来学习具有不确定性的鲁棒 Markov 决策过程，即基于正则化的鲁棒 MDP 算法，与传统的鲁棒优化方法相比，它能够有效地降低计算复杂度并提高可扩展性。

Oct, 2021

本研究致力于学习具有鲁棒特性的 Markov 决策过程。通过分析规则化的 Markov 决策过程，我们建立了奖励鲁棒 Markov 决策过程和规则化 Markov 决策过程之间的联系，并将该关系扩展到具有不确定性转移的 Markov 决策过程。进一步地，我们推广了规则化 MDPs 到双重规则化 MDPs，并在表格和物理领域进行了数值验证。

Mar, 2023

本研究提出了一种策略梯度算法，解决了鲁棒无限期马尔可夫决策过程中的非矩形不确定性集的问题，为相关领域的研究提供了可行性。

May, 2023

本文通过探究 s-rectangular Lp 鲁棒 MDP 和策略正则化 MDP 的等价性，发现在 Optimal Bellman 算子中阈值策略在 top k 动作中起着重要作用，并引入了新的概念如优化和阈值。

May, 2022

本论文利用因子模型处理 Markov 决策过程中的参数不确定性问题，提出了一种鲁棒性方法来有效计算最优策略，并在相关领域进行了实验研究。

Nov, 2018

本文研究了鲁棒马尔可夫决策过程的最优鲁棒策略和价值函数的非渐近和渐近性能，并考虑了不同的不确定性集。实验验证了最优鲁棒价值函数在理论和实际应用中均呈现出典型的 √n 比例的渐近正态性。

May, 2021

马尔科夫决策过程（MDPs）为不确定性下的顺序决策制定了标准框架，但是 MDPs 中的转移概率通常是从数据中估计的，并且 MDPs 不考虑数据的不确定性。鲁棒马尔科夫决策过程（RMDPs）通过为每个转移分配不确定性集合而不是单个概率值来解决了 MDPs 的这个缺点。解决 RMDPs 的目标是找到一种策略，使得在不确定性集合上最大化最坏情况的性能。本文考虑多面体 RMDPs，在其中所有的不确定性集合都是多面体，并研究解决长期平均回报的多面体 RMDPs 的问题。我们关注计算复杂性方面和高效算法。我们提出了这个问题的一个新视角，并且证明它可以简化为解决具有有限状态和动作空间的长期平均回报的轮流随机游戏。这个简化使我们能够得出几个重要的结论，这些结论以前是未知的。首先，我们为解决长期平均回报的多面体 RMDPs 推导出新的计算复杂性界限，首次证明它们的阈值决策问题属于 NP coNP，并且它们具有具有亚指数期望运行时间的随机算法。其次，我们提出了鲁棒多面体策略迭代（RPPI），一种用于解决长期平均回报的多面体 RMDPs 的新型策略迭代算法。我们的实验评估表明，相比基于值迭代的现有方法，RPPI 在解决长期平均回报的多面体 RMDPs 方面更加高效。

Dec, 2023

论文探讨了基于强化学习的鲁棒性 Markov 决策问题，提出了风险敏感 MDP 和正则化鲁棒 MDP 之间的等价关系，并且导出用于正则化鲁棒 MDP 问题的策略梯度定理，提出了基于样本的离线学习算法 RFZI 来解决正则化鲁棒 MDP 问题，并分析了算法的样本复杂度。

Jun, 2023

该研究提出了一种基于模型的强化学习算法，用于学习在标准和不确定的模型下最优的稳健控制策略，并考虑了不同形式的不确定性集合

Dec, 2021

本文提出了一种新颖的稳健策略梯度方法 (RPG) 用于 s - 矩形稳健马尔可夫决策过程 (MDP)。我们首次导出了闭式的对抗性核，并证明它是名义核的一阶扰动。这使我们能够得到一个类似于在非稳健 MDP 中使用的 RPG 的算法，但具有稳健的 Q 值函数和一个附加的校正项。稳健的 Q 值和校正项都可以高效计算，因此我们方法的时间复杂度与非稳健 MDP 的时间复杂度相匹配，比现有的黑盒方法快得多。

Jan, 2023