面对环境不确定性的高样本效率鲁棒多智能体强化学习

Apr, 2024

面对环境不确定性的高样本效率鲁棒多智能体强化学习

Sample-Efficient Robust Multi-Agent Reinforcement Learning in the Face of Environmental Uncertainty

Laixi Shi, Eric Mazumdar, Yuejie Chi, Adam Wierman

TL;DR为了解决强化学习中的模拟到实际之间的差距，学习策略必须对环境不确定性保持鲁棒性。本研究着重于多智能体环境中学习分布鲁棒马尔可夫博弈，提出基于模型的 DRNVI 算法来学习各种博弈论平衡的鲁棒变种，同时建立了信息论下界以确认 DRNVI 的近乎最优样本复杂度。

Abstract

To overcome the sim-to-real gap in reinforcement learning (RL), learned policies must maintain robustness against environmental uncertainties

sim-to-real gap reinforcement learning environmental uncertainties multi-agent environments robust equilibrium strategies

发现论文，激发创造

强化学习中生成模型分布稳健性的研究

研究强化学习中模型鲁棒性以减少实践中的模拟与实际之间的差距，采用分布鲁棒马尔可夫决策过程的框架，在规定的不确定性集合范围内学习最优性能策略，对于不同的不确定性集合，分别用基于模型的方法分析分布鲁棒价值迭代的采样复杂性，结果表明分布鲁棒马尔可夫决策过程并不一定比标准马尔可夫决策过程更易或更难学习，而是依赖于不确定性集合的大小和形状。

May, 2023

通过生成模型实现鲁棒强化学习的样本复杂性

该研究提出了一种基于模型的强化学习算法，用于学习在标准和不确定的模型下最优的稳健控制策略，并考虑了不同形式的不确定性集合

Dec, 2021

改进的分布式鲁棒强化学习样本复杂度界限

本文提出了一种分布式抗干扰强化学习算法，即 Robust Phased Value Learning 算法，该算法针对四种不同的差距度量指标的不确定性集合进行求解，得到的结果在样本复杂度方面比现有结果具有更好的一致性。

Mar, 2023

单轨迹鲁棒分布式强化学习

提出了分布式鲁棒 Q 学习及其平均奖励变体，且在单轨迹训练的基础上，给出了渐近收敛保证和实验验证，证明其在扰动环境下的优越性。

Jan, 2023

大型状态空间下的分布鲁棒基于模型的强化学习

提出了一种基于高斯过程和最大方差缩减算法的模型基础方法，用于学习多输出名义转移动力学，克服了强化学习中的若干挑战，并在分布移位方面展示了算法的鲁棒性以及样本数量上的优越性。

Sep, 2023

分布式健壮强化学习与交互式数据采集：基本难题与近似最优算法

通过交互式数据收集，我们引入消失的最小值假设来解决强化学习中的 sim-to-real 差距问题，为设计样本高效的算法提供了足够的条件，并伴随着尖锐的样本复杂性分析。

Apr, 2024

无模型鲁棒强化学习及样本复杂度分析

分布式鲁棒强化学习提出了一种模型自由的算法，利用多级蒙特卡洛技术来优化最坏情况性能，解决了以往模型自由的算法在收敛保证和样本复杂度方面的限制，并提供了三种不确定性情况下的有限样本分析，从而实现了分布式鲁棒强化学习的模型自由方法的复杂度最优结果，突出了算法的效果与效率，凸显其在实际应用中的潜力。

Jun, 2024

实用鲁棒强化学习：邻域不确定性集和双代理算法

介绍了一种新的不确定性集合并基于此提出了一种名为 ARQ-Learning 的鲁棒强化学习方法，同时还提出一种能高效解决 ARQ-Learning 在大规模或连续状态空间下的问题的技术，最终将其应用于各种存在模型不确定性的强化学习应用中。

May, 2023

无模型鲁棒平均奖励强化学习

该研究主要关注如何处理模型不确定性对于 Markov 决策进程的影响。研究提出了两个无模型算法并探讨了常用的不确定性集合。

May, 2023

带模型不确定性的在线强化学习

本文提出了一种基于样本的方法来估计未知的不确定性集并设计了一种鲁棒 Q 学习算法和鲁棒 TDC 算法，可以在线上和增量的情况下实现，在不需要收敛性保证的情况下证明了 Q 学习算法收敛到最优的鲁棒 Q 函数，并证明了 TDC 算法渐近收敛到一些稳定点，在数值实验中进一步验证了算法的鲁棒性。

Sep, 2021