Oct, 2019

具有工作内存和情节内存的强化学习通用化

PDF
TL;DR本文构建了一个多样的记忆任务集，测试智能体在训练中学到的知识是否能推广到具有多种不同记忆维度的测试集上，探究了不同记忆系统组合的智能体网络的性能表现。
发现论文，激发创造
  • 深思熟虑：带有内部工作记忆的决策 Transformer

    本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

    May, 2023

  • 双记忆强化学习

    本研究提出了一种名为 2M 的方法，将历史记忆存储和强化学习相结合，以提高数据效率并在深度强化学习方面取得更好的表现，同时也提供了将任何历史记忆代理与其他非策略强化学习算法相结合的通用框架。

    Apr, 2023

  • 短时、情节性和语义记忆系统的机器

    使用认知科学理论作为参考，研究者构建了一种基于知识图谱的具有短期、情节和语义记忆系统的智能体，并通过深度 Q 学习方法来使这个智能体在自己设计的强化学习环境中学会如何驾驭记忆来最大效益地回答问题。结果表明，与没有类似记忆结构的智能体相比，拥有人类式记忆系统的智能体在该环境下的表现更为出色。

    Dec, 2022

  • 具备共享情节记忆的持续和多任务强化学习

    本文介绍了一种神经架构 (SEM)，其包含共享追忆存储器的模型，便于在多项任务中学习并顺序执行，实现持续学习和在同一环境中获取新技能的效果。

    May, 2019

  • 利用剧集记忆解决连续控制问题

    本研究使用 Actor-Critic 架构，通过修改 critic 的目标函数，将记忆机制引入连续控制问题中，使用基于经验的记忆缓冲区优先级排列方式，验证了在广泛的行动空间下，使用记忆机制能够提高连续控制中代理的性能，并且相较于最先进的自由模型离线算法，实现了更高的样本效率。

    Jun, 2021

  • 为大型语言模型代理赋予工作记忆能力

    本文通过应用认知心理学的工作记忆框架来增强大型语言模型（LLMs）的架构，以解决其在人类记忆能力方面的限制，并提出了一种创新模型，包括集中的工作记忆中心和情景缓冲区，以提供更高的连续性，以实现复杂任务和合作场景中的细致语境推理。然而，对于情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究，以促进发展具有更复杂、类似人类记忆能力的 LLM 代理。这表明记忆机制是人工通用智能领域的重要前沿。

    Dec, 2023

  • 评估 3D 迷宫中的长期记忆

    本文介绍了 Memory Maze，这是一个专门设计用于评估智能体长期记忆的三维随机迷宫领域，包括在线的强化学习基准测试、离线数据集和离线探测评估。我们发现当前算法在小迷宫上的表现很好，但在大迷宫上还不及人类表现，未来有待进一步进行算法设计和评估。

    Oct, 2022

  • 使用 Reservoir Sampling 将情景记忆集成到强化学习智能体中

    该文研究了利用固定数量的过去状态来维护一个外部内存的新算法，使得深度强化学习代理能够在线记忆有用的状态，并可以在在线强化学习设置中实现梯度估计。

    Jun, 2018

  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 持续模型学习的情节记忆

    本研究探讨在具有有限内存容量的情境下，如何运用基于分层贝叶斯推断的模型选择，以及利用存储在记忆库中的数据解决模型选择中的基本问题。

    Dec, 2017