ICLRMay, 2019

具备共享情节记忆的持续和多任务强化学习

PDF
TL;DR本文介绍了一种神经架构 (SEM)，其包含共享追忆存储器的模型，便于在多项任务中学习并顺序执行，实现持续学习和在同一环境中获取新技能的效果。
episodic memoryneural architectureshared memorysequential executioncontinual learning
发现论文，激发创造
  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 经验回忆元学习

    本文提出了一种形式化的环境生成方法，以针对开放式任务分布下的元学习代理，旨在在重复性场景中探索其环境而不是立即利用以前发现的解决方案。使用可微分的神经元感性记忆改进了标准 LSTM 工作记忆的元学习体系结构，并进一步在带有重复任务的五种元学习环境中进行了测试，包括赌徒问题、导航问题和随机顺序决策问题。

    May, 2018

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 合作多智能体强化学习的高效情节记忆利用

    通过引入有效的情节记忆利用（EMU）来加速协同多智能体强化学习（MARL），为了减少学习时间并防止局部最优解，EMU 包括一个可训练的编码器 / 解码器结构和一种基于状态可取性的新奖励结构，理论支持和实证结果表明 EMU 相比传统的情节控制方法具有更好的性能。

    Mar, 2024

  • 使用 Reservoir Sampling 将情景记忆集成到强化学习智能体中

    该文研究了利用固定数量的过去状态来维护一个外部内存的新算法，使得深度强化学习代理能够在线记忆有用的状态，并可以在在线强化学习设置中实现梯度估计。

    Jun, 2018

  • 短时、情节性和语义记忆系统的机器

    使用认知科学理论作为参考，研究者构建了一种基于知识图谱的具有短期、情节和语义记忆系统的智能体，并通过深度 Q 学习方法来使这个智能体在自己设计的强化学习环境中学会如何驾驭记忆来最大效益地回答问题。结果表明，与没有类似记忆结构的智能体相比，拥有人类式记忆系统的智能体在该环境下的表现更为出色。

    Dec, 2022

  • 无模型的情节控制

    本文探讨海马海马记忆控制应用于深度加强学习，证明该应用比现有的加强学习算法更快地高效解决了一些复杂的连续决策任务。

    Jun, 2016

  • 双记忆强化学习

    本研究提出了一种名为 2M 的方法，将历史记忆存储和强化学习相结合，以提高数据效率并在深度强化学习方面取得更好的表现，同时也提供了将任何历史记忆代理与其他非策略强化学习算法相结合的通用框架。

    Apr, 2023

  • 利用剧集记忆解决连续控制问题

    本研究使用 Actor-Critic 架构，通过修改 critic 的目标函数，将记忆机制引入连续控制问题中，使用基于经验的记忆缓冲区优先级排列方式，验证了在广泛的行动空间下，使用记忆机制能够提高连续控制中代理的性能，并且相较于最先进的自由模型离线算法，实现了更高的样本效率。

    Jun, 2021

  • 基于任务条件超网络的多任务时序记忆深度强化学习

    为了解决深度强化学习算法中的采样效率问题，本文提出了一种新的基于任务调节超网络的检索网络算法，并通过在 MiniGrid 环境下的实验结果验证了其胜于传统算法的性能表现。

    Jun, 2023