Sep, 2023

记忆训练场：无尽回合中基于记忆的智能体面临的部分可观测挑战

PDF
TL;DRMemory Gym 引入了一种独特的基准测试，旨在测试深度强化学习代理的能力，具体比较门控循环单元（GRU）和 Transformer-XL（TrXL）在记忆长序列、抵抗噪声和泛化能力方面的性能。
deep reinforcement learninggated recurrent unittransformer-xlmemory-based agentsepisodic memory
发现论文，激发创造
  • 强化学习中的 Transformer 稳定化

    在自然语言处理领域得到了突破性的成功后，本文提出一种修改后的” 转换器” 架构，即门控 Transformer-XL (GTrXL)，在部分可观察的强化学习 RL 领域中实现了与竞争性 LSTM 基线相媲美的稳定性和性能，超过了 LSTM 并在多任务 DMLab-30 基准套件上取得了最新的成果。

    Oct, 2019

  • 基于模型无关生成回放的终身强化学习：以星际争霸 2 为例

    本研究研究了三种 LRL 模型的生成式重演（GR）机制，提高了迁移学习等量化指标以及解决了忘却问题。通过实验结果表明，该机制在深度 RL 代理的潜藏向量空间内防止特征到行为映射发生漂移，缩小了训练样本数量，具有较高的实验价值。

    Aug, 2022

  • 变形金刚是元强化学习算法

    本文介绍了 TrMRL，这是一种运用 Transformer 架构的基于元强化学习的代理（Meta-Reinforcement Learning Algorithm），它结合了最近的工作内存以递归方式构建情境记忆，并利用 self-attention 机制计算和提供有意义的特征以执行最佳任务。研究表明，在高维连续控制环境下，TrMRL 相对于基线模型表现出了相当或优异的收敛性能、采样效率和超出分布范围的概况。

    Jun, 2022

  • 适用于具有长视程任务的实体代理的场景记忆变压器

    提出了一种新的记忆 - 基策略 Scene Memory Transformer (SMT)，将每个观察值嵌入并添加到记忆中，并使用注意机制来利用时空依赖关系，该模型通用且可以在长时间段内高效地使用强化学习训练。在一系列视觉导航任务中，SMT 表现出比现有的反应式和基于记忆的策略更出色的表现。

    Mar, 2019

  • 循环记忆决策 Transformer

    本文提出了递归记忆决策变换器（RMDT），使用递归记忆机制用于强化学习问题，旨在改善大规模转换器模型在离线强化学习任务中的表现，实验证明，其性能明显优于没有递归记忆机制的同类模型。

    Jun, 2023

  • 带有记忆回放的 Transformer

    本文提出了一种记忆重放机制与 Transformer 相结合的方法，称为 Transformer with Memory Replay（TMR），在大规模文本语料库上预训练，使 Transformer 更具样本效率。在 GLUE 和 SQuAD 基准数据集上进行的实验显示，与基线 transformer 模型相比，当预先训练相同数量的示例时，使用记忆重放的 Transformer 可至少提高 1％。此外，通过采用减少内存重放的时钟时间开销的仔细设计，也实现了更好的运行时效率。

    May, 2022

  • 基于情节记忆的阅读器：从流数据中学习答题需要记住的内容

    本文提出了一个基于序列阅读的外部内存读取模型 Episodic Memory Reader, 并结合强化学习代理进行记忆筛选，用于在大规模数据流中进行问答。实验结果表明该模型在文本 QA 和视频 QA 任务中相较于传统记忆调度策略或独立序列学习的强化学习 baseline 有了更好的表现。

    Mar, 2019

  • Transformers 在强化学习任务中的优势：将记忆与信用分配解耦

    通过对记忆长度和信用分配长度的定义，并设计简单可配置的任务来衡量这些不同的量，我们的实证结果揭示了 Transformers 可以增强 RL 算法的记忆能力，可以扩展到需要记住 1500 个步骤之前观察的任务，但 Transformers 并不改善长期信用分配。总之，我们的结果解释了 Transformers 在 RL 中的成功原因，同时也凸显了未来研究和基准设计的重要领域。

    Jul, 2023

  • 基于记忆的深度强化学习在 POMDPs 中的应用

    本文介绍了一种基于 LSTM-TD3 的方法，该方法引入了记忆组件以应对部分可观察 MDPs，相比其他 DRL 算法，在具有部分可观察 MDPs 的情况下，该方法具有显著的优势，包括处理丢失和噪声观察数据的能力。

    Feb, 2021

  • 重温具有记忆单子的循环强化学习

    强化学习中，使用记忆模型如 RNN 和 transformers 来处理部分可观测的马尔科夫决策过程（POMDPs），但这些模型在处理长序列时无法很好地扩展，与一种新兴的线性循环模型相比，其性能较差。我们发现这些模型的循环更新是一个幺半群，从而正式定义了一种新颖的记忆幺半群框架。我们重新审视了强化学习中循环网络的传统批处理方法，突出了理论和实证上的不足。利用记忆幺半群的特性，我们提出了一种新的批处理方法，以改善样本效率，提高回报以及简化强化学习中循环损失函数的实现。

    Feb, 2024