Mar, 2024

通过世界模型进行延迟观察的强化学习

HTML
PDF
TL;DR在标准强化学习设置中，通过立即获得行为后效果的反馈是常见的假设；然而，由于物理限制，在实践中这种假设可能并不成立，可能严重影响强化学习算法的性能。本文关注部分可观测环境中观察延迟的处理。我们提出利用过去观测和学习动态的世界模型来处理观察延迟。通过将延迟型POMDP降低为具有世界模型的延迟型MDP，我们的方法可以有效处理部分可观察性，在现有方法在可观察性降低时实现次优性能甚至迅速降级的情况下表现出更好的性能。实验证明，我们的方法之一可以比天真的基于模型的方法的表现高出30%。此外，我们首次在基于视觉输入的延迟环境上评估了我们的方法，展示了延迟感知的视觉观察强化学习。
发现论文，激发创造
  • 学习部分可观察的确定性动作模型

    研究了如何在动态部分可观测领域中识别确定性动作效果和先决条件，并提出了可行的算法来解决这个问题。

    Jan, 2014

  • 学习部分可观测环境的因果状态表示

    本文提出了一种基于循环神经网络（RNN）的近似因果状态算法，该方法学习从POMDP中的历史动作和观察预测未来观察情况的因果状态表示。实验证明，所学习的状态表示可用于有效学习具有丰富观察空间的强化学习问题，并与之前的方法进行比较。

    Jun, 2019

  • 无需向前预测的学习：没有前向预测的世界模型

    本研究介绍了一种名为'observational dropout'的改进强化学习方法，该方法通过限制智能体在每个时间步的真实环境观察能力，强制智能体学习填补观察不足的世界模型，结果表明基于这种模型的强化学习算法可以提高智能体的学习效率和执行能力。

    Oct, 2019

  • 具有短期记忆的可证明强化学习

    本文研究如何学习部分可观察的马尔科夫决策过程。通过构造一种特殊的子类POMDP，它的隐状态可以通过历史的近期记录来解码。我们使用新颖的瞬时匹配方法，并建立了一组在表格和丰富观察设置下，学习这类问题的近优策略的样本复杂性的上下界，并证明了短期记忆对于这些环境的强化学习已经足够。

    Feb, 2022

  • 基于视觉观测的离线强化学习中的挑战与机遇

    本文旨在建立连续控制的视觉基线，通过离线强化学习从视角上建立简单的基线，并在数据集中严格评估算法，同时分析了离线视角下的重要的特殊需求。

    Jun, 2022

  • 由学习的环境模型指导的部分可观测性下的强化学习

    本文提出了一种基于Q-learning和IoAlergia的强化学习方法，用于处理部分可观察环境下的控制系统策略生成，将RL与学习环境模型相结合以提供抽象的环境状态获取。实验结果表明，该方法在性能表现上优于六种当下的深度RL技术。

    Jun, 2022

  • 潜在世界模型对于连续强化学习的惊人有效性

    本文研究了基于模型的强化学习方法，特别是对于持续强化学习的世界模型的应用。结论表明，使用世界模型是一种简单且有效的持续强化学习基准。

    Nov, 2022

  • 具有不完全可观测性的高效强化学习：学会通过延迟和缺失状态观测来行动

    本文研究在控制系统中如何高效地进行强化学习，以应对代理无法实时观察系统最新状态的延迟和缺失观测，通过建立新的近似损失边界方法，可以在考虑状态-动作大小的情况下实现学习的高效性，与完全可观测性下的最优方案进行比较。

    Jun, 2023

  • 强化学习中的延迟

    研究关于延迟对动态系统、马尔可夫决策过程、强化学习和实证结果的影响。

    Sep, 2023

  • 基于观测历史的离线强化学习：分析和改善采样复杂度

    标准离线强化学习算法在观测历史的条件下存在样本复杂度高的问题，然而通过引入双模拟损失函数，离线强化学习可以显式地优化该损失函数，从而在性能上得到改善。

    Oct, 2023