基于任务条件超网络的多任务时序记忆深度强化学习

Jun, 2023

基于任务条件超网络的多任务时序记忆深度强化学习

Deep Reinforcement Learning with Multitask Episodic Memory Based on Task-Conditioned Hypernetwork

Yonggang Jin, Chenxu Wang, Liuyu Xiang, Yaodong Yang, Jie Fu...

TL;DR为了解决深度强化学习算法中的采样效率问题，本文提出了一种新的基于任务调节超网络的检索网络算法，并通过在 MiniGrid 环境下的实验结果验证了其胜于传统算法的性能表现。

Abstract

deep reinforcement learning algorithms are usually impeded by sampling inefficiency, heavily depending on multiple interactions with the environment to acquire accurate decision-making capabilities. In contrast, humans seem to rely on their hippocampus to retrieve relevant information

deep reinforcement learning hippocampus-like module retrieval network task-conditioned hypernetwork minigrid environment

发现论文，激发创造

无模型的情节控制

本文探讨海马海马记忆控制应用于深度加强学习，证明该应用比现有的加强学习算法更快地高效解决了一些复杂的连续决策任务。

Jun, 2016

情节记忆深度 Q 网络

本文提出了一种基于生物学启发的强化学习算法 Episodic Memory Deep Q-Networks（EMDQN），该算法利用情节内存来监督代理在训练过程中，实验表明我们提出的方法可以提高样本效率，更容易找到好策略，在 Atari 游戏上只需要 1/5 的交互就能达到许多具有最先进性能的情况，明显优于常规 DQN 和其他情节记忆基 RL 算法。

May, 2018

深度生成回放的持续学习

本文提出一种新的深度学习框架 Deep Generative Replay 来解决在实现万能人工智能时的一个长期问题：灾难性遗忘。通过引入灵感于灵长类大脑海马体的短期记忆系统，在该框架中包含一个生成模型和一个任务求解模型，并在图像分类任务中进行了相关实验和测试。

May, 2017

具备共享情节记忆的持续和多任务强化学习

本文介绍了一种神经架构 (SEM)，其包含共享追忆存储器的模型，便于在多项任务中学习并顺序执行，实现持续学习和在同一环境中获取新技能的效果。

May, 2019

具备知识整合的记忆高效强化学习

我们提出了一种基于深度 Q 网络算法的记忆效率强化学习算法，通过从目标 Q 网络到当前 Q 网络合并知识，减少遗忘并保持高的样本效率。与基线方法相比，在特征和图像任务中取得了相当或更好的性能，同时减轻了大经验重放缓冲区的负担。

May, 2022

使用情节记忆从深度强化学习生成解释

通过使用含有情节记忆系统的深度强化学习代理，识别和重述关键决策，生成人类可读的简短解释，可用于加快初学的无算法依赖深度强化学习代理的学习。

May, 2022

超网络的持续学习

本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

Jun, 2019

强化学习智能体中自然出现类脑式回放

在这项工作中，通过使用基于循环神经网络的强化学习模型，我们在任务优化范式下发现了自然出现的回放，它模拟了海马体和前额叶皮质的互联以及感觉皮质输入，而回放在任务表现上能很好地匹配动物实验数据，同时也成功地再现了局部和非局部回放，这与人类实验数据相吻合，这为我们理解回放背后的机制提供了一种新途径。

Feb, 2024

经验回忆元学习

本文提出了一种形式化的环境生成方法，以针对开放式任务分布下的元学习代理，旨在在重复性场景中探索其环境而不是立即利用以前发现的解决方案。使用可微分的神经元感性记忆改进了标准 LSTM 工作记忆的元学习体系结构，并进一步在带有重复任务的五种元学习环境中进行了测试，包括赌徒问题、导航问题和随机顺序决策问题。

May, 2018

神经元事件控制

本文提出了一种深度强化学习代理 —— 神经记忆控制器，该代理能够快速地接受和处理新经验并表现出针对这些经验的行为，并使用半表格化价值函数表示：包含缓慢变化状态表示和快速更新价值函数估计的过去经验缓冲区。研究表明，与其他最先进的通用型深度强化学习代理相比，该代理在各种环境中学习速度明显更快。

Mar, 2017