Mar, 2024

通过世界模型进行延迟观察的强化学习

PDF
TL;DR在标准强化学习设置中，通过立即获得行为后效果的反馈是常见的假设；然而，由于物理限制，在实践中这种假设可能并不成立，可能严重影响强化学习算法的性能。本文关注部分可观测环境中观察延迟的处理。我们提出利用过去观测和学习动态的世界模型来处理观察延迟。通过将延迟型 POMDP 降低为具有世界模型的延迟型 MDP，我们的方法可以有效处理部分可观察性，在现有方法在可观察性降低时实现次优性能甚至迅速降级的情况下表现出更好的性能。实验证明，我们的方法之一可以比天真的基于模型的方法的表现高出 30%。此外，我们首次在基于视觉输入的延迟环境上评估了我们的方法，展示了延迟感知的视觉观察强化学习。
reinforcement learningobservation delayspartially observable environmentsworld modelsdelayed mdps
发现论文，激发创造
  • 具有不完全可观测性的高效强化学习：学会通过延迟和缺失状态观测来行动

    本文研究在控制系统中如何高效地进行强化学习，以应对代理无法实时观察系统最新状态的延迟和缺失观测，通过建立新的近似损失边界方法，可以在考虑状态 - 动作大小的情况下实现学习的高效性，与完全可观测性下的最优方案进行比较。

    Jun, 2023

  • 强化学习中的延迟

    研究关于延迟对动态系统、马尔可夫决策过程、强化学习和实证结果的影响。

    Sep, 2023

  • 由学习的环境模型指导的部分可观测性下的强化学习

    本文提出了一种基于 Q-learning 和 IoAlergia 的强化学习方法，用于处理部分可观察环境下的控制系统策略生成，将 RL 与学习环境模型相结合以提供抽象的环境状态获取。实验结果表明，该方法在性能表现上优于六种当下的深度 RL 技术。

    Jun, 2022

  • 无需向前预测的学习：没有前向预测的世界模型

    本研究介绍了一种名为 'observational dropout' 的改进强化学习方法，该方法通过限制智能体在每个时间步的真实环境观察能力，强制智能体学习填补观察不足的世界模型，结果表明基于这种模型的强化学习算法可以提高智能体的学习效率和执行能力。

    Oct, 2019

  • 基于模型的延迟感知连续控制强化学习

    该研究提出了延迟感知的马尔可夫决策过程的正式定义，并证明它可以通过使用马尔可夫奖励过程中的增强状态转化为标准 MDP。我们开发了一个延迟感知的模型驱动强化学习框架，可以将多步延迟纳入学习到的系统模型中，而无需进行学习。 与 Gym 和 MuJoCo 平台进行的实验表明，与非策略模型无关的强化学习方法相比，所提出的延迟感知模型驱动算法在训练和各种延迟时间系统之间具有更高的效率和可传递性。

    May, 2020

  • 随机延迟的强化学习

    研究分析了随机延迟环境中的多步价值估计问题，提出了一种基于 Soft Actor-Critic 的延迟校正 Actor-Critic 算法来解决，实验证明其在 MuJoCo 连续控制环境中具有显著的性能优势。

    Oct, 2020

  • 潜在世界模型对于连续强化学习的惊人有效性

    本文研究了基于模型的强化学习方法，特别是对于持续强化学习的世界模型的应用。结论表明，使用世界模型是一种简单且有效的持续强化学习基准。

    Nov, 2022

  • 强化学习中泛化的困难之处：认知 POMDP 和隐式部分可观测性

    本文研究了强化学习系统在现实世界中部署的中心挑战 —— 泛化，并展示了强化学习问题的时序结构需要新的泛化方法，同时介绍了一种新的部分可观察马尔可夫决策过程（POMDP）解决方案 —— 认知 POMDP，通过简单的基于集成的技术解决了部分可观测性问题，证明了所提出的算法对 Procgen 基准套件的表现相比现有方法有显著提高。

    Jul, 2021

  • 延迟随机环境中的控制：基于模型的强化学习方法

    本文介绍了一种用于具有延迟反馈环境中的控制问题的新的强化学习方法，该方法采用了随机规划而非以前使用的确定性规划方法，从而在策略优化问题中嵌入了风险偏好。我们展示了该方法能够恢复具有确定性转换的问题的最优策略，并将其与文献中的两种先前方法进行对比。我们将该方法应用于简单任务以了解其特点，然后比较了这些方法在控制多个 Atari 游戏方面的性能。

    Feb, 2024

  • 世界模型

    本研究旨在使用生成神经网络建立流行的强化学习环境下的世界模型，并利用该世界模型进行无监督学习，学习环境的空间和时间紧凑表示。通过使用从世界模型提取的特征作为代理输入，我们可以训练出非常紧凑和简单的策略来解决所需任务。我们甚至可以在代理自己的幻象梦境中完全进行训练，并将该策略传输回实际环境中。

    Mar, 2018