Oct, 2023

STORM: 基于随机 Transformer 的高效强化学习世界模型

PDF
TL;DR近年来，基于模型的强化学习算法在视觉输入环境中展现出了显著的效果。本研究介绍了一种名为 STORM 的高效世界模型架构，它将 Transformer 的强大序列建模和生成能力与变分自编码器的随机性结合起来，取得了 Atari 100k 基准测试的均值人类表现为 126.7％的成绩，同时在使用单个 NVIDIA GeForce RTX 3090 显卡进行 1.85 小时的实时交互训练时仅需 4.3 小时，证明其相对于之前的方法具有更高的效率。
model-based reinforcement learningsimulation world modelsequence modelinggeneration capabilitiesstochastic transformer-based world model (storm)
发现论文，激发创造
  • Transformer 是高效样本的世界模型

    IRIS 是一个深度强化学习代理，学习于由离散自动编码器和自回归 Transformer 组成的世界模型中，仅用两小时的时间即可在 Atari 100k 基准测试中实现 1.046 的平均人类标准化得分，在 26 个游戏中有 10 个游戏超过了人类的表现，是一种有效的世界模型学习方法。

    Sep, 2022

  • 基于 Transformer 的世界模型需要 100k 次交互

    使用变换器对真实世界情节进行自回归处理，生成有意义、新的经历，进而训练超越之前强化学习算法的策略。

    Mar, 2023

  • 具有上下文感知标记化的高效世界模型

    通过构建 Delta-IRIS，一个世界模型结构，利用离散自编码器和自回归变换器来预测未来时间步的变化量，本研究在 Crafter 基准测试中取得了新的最高水平，而且训练速度比以前的基于注意力的方法快一个数量级。

    Jun, 2024

  • 分散的变压器与集中的聚合是高效的多智能体世界模型

    为了解决多智能体强化学习中的可扩展性和非稳态性问题，我们提出了一种新的多智能体世界模型，通过学习分散的局部动力学来实现可扩展性，并通过中心化表示的聚合来解决非稳态性问题。我们引入了 Perceiver Transformer 作为一种有效的解决方案，通过 Transformer 体系结构对复杂的局部动力学进行建模，从而提供准确而一致的长期想象。在 Starcraft Multi-Agent Challenge（SMAC）上的结果显示，该模型在样本效率和整体性能方面优于强化学习和现有的基于模型的方法。

    Jun, 2024

  • 世界模型

    本研究旨在使用生成神经网络建立流行的强化学习环境下的世界模型，并利用该世界模型进行无监督学习，学习环境的空间和时间紧凑表示。通过使用从世界模型提取的特征作为代理输入，我们可以训练出非常紧凑和简单的策略来解决所需任务。我们甚至可以在代理自己的幻象梦境中完全进行训练，并将该策略传输回实际环境中。

    Mar, 2018

  • 离散世界模型掌握 Atari

    DreamerV2 是一种基于 world models 且在离线的训练集上通过 reinforcement learning 进行策略 (即行为) 学习的智能体，用于通过对 compact latent space 进行预测，实现从 Atari 游戏或连续动作任务的图像输入中进行行为学习的高效模型，实现了在 55 个任务中的 human-level 的性能，获得了与 IQN 和 Rainbow 类似的结果。

    Oct, 2020

  • TransDreamer：使用 Transformer World 模型的强化学习

    本文介绍了一种基于 Transformer 模型的模型驱动强化学习代理 TransDreamer，该代理在 2D 视觉和 3D 第一人称视觉强化学习任务中表现优于传统的 Dreamer 代理，并且实现了长程记忆访问的记忆推理。

    Feb, 2022

  • 规模化 Transformer 神经网络用于高技巧和可靠的中期天气预报

    通过 Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在 7 天以上的天气预报中表现出色，并展示了其有利的扩展性。

    Dec, 2023

  • 面向世界模型骨干网络的对比：循环神经网络，Transformer 和 S4

    本文探讨了替代循环神经网络的 S4 模型和 Transformers 模型在增强学习模型中的应用及其优势，提出了第一个基于 S4 模型的世界模型，S4WM，其在各项测试中展现了超越 Transformers 的长期记忆和训练效率，结果为模型建立打下良好基础。

    Jul, 2023

  • 具有结构化世界模型的样本高效机器人学习

    研究利用特征空间和世界模型提高机器人在可变形物体折叠任务中的学习效率和性能，结果发现使用特征点可以将最佳模型的性能提升 50％，学习效率也可以得到提升。

    Oct, 2022