大型状态空间下的分布鲁棒基于模型的强化学习

Sep, 2023

大型状态空间下的分布鲁棒基于模型的强化学习

Distributionally Robust Model-based Reinforcement Learning with Large State Spaces

Shyam Sundhar Ramesh, Pier Giuseppe Sessa, Yifan Hu, Andreas Krause, Ilija Bogunovic

TL;DR提出了一种基于高斯过程和最大方差缩减算法的模型基础方法，用于学习多输出名义转移动力学，克服了强化学习中的若干挑战，并在分布移位方面展示了算法的鲁棒性以及样本数量上的优越性。

Abstract

Three major challenges in reinforcement learning are the complex dynamical systems with large state spaces, the costly data acquisition processes, and the deviation of real-world dynamics from the training environment deployment. To overcome these issues, we study distributionally robu

reinforcement learning distributionally robust markov decision processes continuous state spaces gaussian processes distributional shifts

发现论文，激发创造

强化学习中生成模型分布稳健性的研究

研究强化学习中模型鲁棒性以减少实践中的模拟与实际之间的差距，采用分布鲁棒马尔可夫决策过程的框架，在规定的不确定性集合范围内学习最优性能策略，对于不同的不确定性集合，分别用基于模型的方法分析分布鲁棒价值迭代的采样复杂性，结果表明分布鲁棒马尔可夫决策过程并不一定比标准马尔可夫决策过程更易或更难学习，而是依赖于不确定性集合的大小和形状。

May, 2023

方差减少的分布鲁棒 Q 学习的样本复杂性

本论文提出了两种模型无关的算法，分别是分布鲁棒的 Q-learning 及其方差缩减的版本。这些算法可在处理分布移位时有效地学习强大的策略。在一系列数值实验中，这些算法的理论发现和效率得到了证实。

May, 2023

通过生成模型实现鲁棒强化学习的样本复杂性

该研究提出了一种基于模型的强化学习算法，用于学习在标准和不确定的模型下最优的稳健控制策略，并考虑了不同形式的不确定性集合

Dec, 2021

离线分布鲁棒线性马尔科夫决策过程的样本复杂度

通过使用离线数据，基于分布健壮的线性马尔科夫决策过程，开发了一种悲观的模型算法，提供了一个具有样本效率的鲁棒性学习策略，以解决离线强化学习中模拟和实际环境之间的差异所带来的问题。

Mar, 2024

改进的分布式鲁棒强化学习样本复杂度界限

本文提出了一种分布式抗干扰强化学习算法，即 Robust Phased Value Learning 算法，该算法针对四种不同的差距度量指标的不确定性集合进行求解，得到的结果在样本复杂度方面比现有结果具有更好的一致性。

Mar, 2023

连续状态空间中的分布可靠随机控制的统计学习

该研究论文介绍了一个分布鲁棒的随机控制范式，能够容纳对分布内可能的自适应敌对扰动的噪声进行考虑，在给定的模糊集合内。通过对两种敌对模型的研究，我们揭示了在不同的动态规划方程下的最优有限样本极小化率，以实现对连续状态下健壮价值函数的统一学习，考虑由 f_k - 散度和 Wasserstein 距离定义的模糊集合。最后，我们展示了我们的框架在各种真实世界环境中的适用性。

Jun, 2024

面对环境不确定性的高样本效率鲁棒多智能体强化学习

为了解决强化学习中的模拟到实际之间的差距，学习策略必须对环境不确定性保持鲁棒性。本研究着重于多智能体环境中学习分布鲁棒马尔可夫博弈，提出基于模型的 DRNVI 算法来学习各种博弈论平衡的鲁棒变种，同时建立了信息论下界以确认 DRNVI 的近乎最优样本复杂度。

Apr, 2024

分布式鲁棒强化学习

本文提出了一种基于风险规避的探索策略，使用分布式鲁棒策略迭代方案来确保学习过程中的安全，并在连续状态 / 操作空间中扩展了此方法，得出了分布式鲁棒软演员 - 批评家算法的实用算法。

Feb, 2019

分布鲁棒优化有效地解决离线强化学习问题

本文利用不确定性集来直接建模转移内核的不确定性，并采用分布稳健优化方法，通过优化在不确定性集中的最坏情况下的性能来解决先前研究所面临的有限数据和分布转移的问题。

May, 2023

分布式健壮强化学习与交互式数据采集：基本难题与近似最优算法

通过交互式数据收集，我们引入消失的最小值假设来解决强化学习中的 sim-to-real 差距问题，为设计样本高效的算法提供了足够的条件，并伴随着尖锐的样本复杂性分析。

Apr, 2024