Jul, 2019

基于模型的强化学习基准测试

PDF
TL;DR本文为了推动模型基强化学习（Model-based Reinforcement Learning, MBRL）的研究，收集了大量 MBRL 算法，并提出了 18 个为 MBRL 特别设计的基准环境来评估这些算法，并探讨了 MBRL 算法之间的主要差异和研究挑战。
model-based reinforcement learningmbrlbenchmarking environmentsalgorithmic differencesresearch challenges
发现论文，激发创造
  • 基于模型的前瞻性强化学习

    本论文结合模型推理控制与模型无关的深度强化学习方法，提出一种更加高效的学习框架，并在标准的连续控制基准任务中取得了与模型无关方法相当的性能表现。

    Aug, 2019

  • 基于模型的强化学习的博弈论框架

    本文提出了一种新的框架，将基于模型的强化学习（MBRL）视为博弈，通过构建领导者与跟随者之间的 Stackelberg 博弈来简化算法设计，并设计了两种自然算法家族，旨在促进样本效率。

    Apr, 2020

  • MBRL-Lib：基于模型的强化学习的模块化库

    本文提出了基于 PyTorch 的 MBRL-Lib 机器学习库，旨在为研究人员提供一个易于开发、调试和比较新算法的平台，也为非专业用户降低应用最先进算法的门槛。

    Apr, 2021

  • BenchMARL: 多智能体强化学习基准

    多智能体强化学习领域面临再现性危机，本文引入 BenchMARL 作为第一个用于标准化基准测试的训练库，具备高性能和最新技术实现，从而满足多智能体 PyTorch 用户的需求。

    Dec, 2023

  • 位置：强化学习研究中的基准测试受限

    通过对 rigorous experiment designs 的计算成本的探究，本研究提倡使用额外的实验范式来克服 benchmarking 的局限性。

    Jun, 2024

  • 模型是否应该准确？

    通过引入基于元学习的算法，该文探讨了在复杂或动态环境中，即使存在不完美的模型，不严格追求模型准确度也能提高模型的实用性，并通过实验验证了算法的有效性。

    May, 2022

  • Ready Policy One: 通过积极学习构建世界

    本文介绍了 Ready Policy One (RP1)，将基于模型的强化学习视为一个主动学习问题，利用混合目标函数，在优化期间关键性的适应，以便在学习的不同阶段权衡奖励与探索，同时介绍了一个原则性的机制以停止样本收集。在多个连续控制任务中对方法进行了严格评估，并证明了与现有方法相比的显著增益。

    Feb, 2020

  • 模型基强化学习中解决客观差异的统一视角

    模型驱动强化学习（MBRL）通过学习环境的显式模型，使智能体更具有样本效率、自适应性和可解释性。本研究提供了对 MBRL 中解决目标不匹配问题的多个解决方案类别的深入调查，并提出了一个分类以促进未来的研究。

    Oct, 2023

  • 基于模型的强化学习的自我纠正模型

    本文从理论角度分析了 Hallucinated Replay 方法在模型有误的情况下的强化学习效果，提出了一种新的误差界，利用这种方法使确定性 MDPs 的强化学习算法更具有鲁棒性和性能保证。

    Dec, 2016

  • 论基于模型的强化学习中超参数优化的重要性

    本文研究了基于模型的强化学习中的自动超参数优化方法，实验证明，与人工调参相比，自动 HPO 能显著提高算法性能，并通过动态地调整多个超参数进一步优化模型性能，实验还揭示了计划视野和学习率等超参数对模型稳定性和奖励的影响。

    Feb, 2021