Feb, 2022

TransDreamer：使用 Transformer World 模型的强化学习

PDF
TL;DR本文介绍了一种基于 Transformer 模型的模型驱动强化学习代理 TransDreamer，该代理在 2D 视觉和 3D 第一人称视觉强化学习任务中表现优于传统的 Dreamer 代理，并且实现了长程记忆访问的记忆推理。
model-based reinforcement learningmbrltransformerstransdreamervisual reasoning
发现论文，激发创造
  • DreamerPro: 无需重建的基于模型的原型表示强化学习

    本研究旨在提高基于模型的强化学习代理在处理视觉干扰方面的鲁棒性。我们提出了一种从世界模型的循环状态中学习原型表示的方法，将过去的观察和动作中的时间结构提取为原型。DreamerPro 模型通过将 Dreamer 与原型组合起来，在标准设置和存在复杂背景干扰的情况下都取得了大幅性能提高。

    Oct, 2021

  • 面向世界模型骨干网络的对比：循环神经网络，Transformer 和 S4

    本文探讨了替代循环神经网络的 S4 模型和 Transformers 模型在增强学习模型中的应用及其优势，提出了第一个基于 S4 模型的世界模型，S4WM，其在各项测试中展现了超越 Transformers 的长期记忆和训练效率，结果为模型建立打下良好基础。

    Jul, 2023

  • 基于 Transformer 的世界模型需要 100k 次交互

    使用变换器对真实世界情节进行自回归处理，生成有意义、新的经历，进而训练超越之前强化学习算法的策略。

    Mar, 2023

  • 无需重构潜在想象的基于模型的强化学习

    本文提出了一种无解码器的扩展 Dreamer（基于图像的模型基强化学习方法）来提高机器人学习效率，并在 5 个仿真机器人任务中表现出更好的性能，主要使用了对比学习方法和自编码器神经网络技术。

    Jul, 2020

  • 控制梦境：通过潜在想象学习行为

    使用潜意识想象力，在学习世界模型的基础上，Dreamer 这一强化学习代理能够纯粹通过图像解决长周期任务，具有数据效率高，计算时间短和最终性能强等优势。

    Dec, 2019

  • DayDreamer: 物理机器人学习的世界模型

    本文介绍了 Dreamer 算法在物理机器人上应用的实验，证明了该算法能够使得机器人在真实世界中进行快速学习和适应，同时建立了实际环境下世界模型应用于机器人学习的强基线。

    Jun, 2022

  • MuDreamer: 无需重建学习预测性世界模型

    MuDreamer 是一种强大的强化学习代理，它在 DreamerV3 算法的基础上通过学习一种无需重建输入信号的预测世界模型，改善了 Dreamer 在面对视觉干扰时感知关键元素的能力。

    May, 2024

  • CoDreamer：基于通信的分散式世界模型

    在强化学习中，样本效率是一个关键挑战。本研究引入了 CoDreamer，这是 Dreamer 算法在多智能体环境中的扩展，利用图神经网络构建了一个双层通信系统来解决部分可观测性和智能体合作等问题。我们证明了 CoDreamer 比使用 Dreamer 的简单方法具有更强的表达能力，并在各种多智能体环境中展示了其优越性能。

    Jun, 2024

  • 离散世界模型掌握 Atari

    DreamerV2 是一种基于 world models 且在离线的训练集上通过 reinforcement learning 进行策略 (即行为) 学习的智能体，用于通过对 compact latent space 进行预测，实现从 Atari 游戏或连续动作任务的图像输入中进行行为学习的高效模型，实现了在 55 个任务中的 human-level 的性能，获得了与 IQN 和 Rainbow 类似的结果。

    Oct, 2020

  • 变形金刚是元强化学习算法

    本文介绍了 TrMRL，这是一种运用 Transformer 架构的基于元强化学习的代理（Meta-Reinforcement Learning Algorithm），它结合了最近的工作内存以递归方式构建情境记忆，并利用 self-attention 机制计算和提供有意义的特征以执行最佳任务。研究表明，在高维连续控制环境下，TrMRL 相对于基线模型表现出了相当或优异的收敛性能、采样效率和超出分布范围的概况。

    Jun, 2022