选择性经验回放用于终身学习

AAAIFeb, 2018

Selective Experience Replay for Lifelong Learning

David Isele, Akansel Cosgun

TL;DR本文研究通过经验重放的方法，利用 “distribution matching” 算法来防止深度神经网络多任务学习中的严重忘却问题。实验探索了不同体验选择策略的优缺点，结果表明分布匹配算法可以成功避免严重忘却问题，并且在所有测试领域中始终表现最佳。同时我们发现，当部分任务的重要性比其他任务更高时，最大化状态空间覆盖率是有福利的。

Abstract

deep reinforcement learning has emerged as a powerful tool for a variety of learning tasks, however deep nets typically exhibit forgetting when learning multiple tasks in sequence. To mitigate forgetting, we propose an experience replay process that augments the standard FIFO buffer an

deep reinforcement learning experience replay catastrophic forgetting long-term memory distribution matching

发现论文，激发创造

经验回放用于连续学习

本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

Nov, 2018

提升连续学习中的回放样本选择和存储，减少遗忘

通过对常用的蓄水池采样方法与其他替代人群策略进行比较，本研究旨在解决连续学习中选择最具信息价值样本和确定最优存储样本数量的问题，并提供了相关的详细分析。

Aug, 2023

增强回放的连续强化学习

RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

Nov, 2023

连续学习中重放策略的基准和实证分析

本篇文章探讨了如何通过回放记忆的方式来解决深度神经网络在连续学习时的 “灾难性遗忘” 问题，并对各种取样策略下回放数据的效率、性能和可伸缩性进行了深入评估，最终提供了一个针对各种数据分布选择回放方法的实用解决方案。

Aug, 2022

优先经验回放

本文介绍一种优先回放经验的机制，使用该机制在深度 Q 网络中进行增强学习，提高了在 Atari 游戏中的学习效率，超过了其他方法，成为了最新的最先进方法。

Nov, 2015

谨慎行事：规模化持续学习的最佳检索

通过研究回放方法在连续学习中的应用，本文提出了一种评估选择性检索策略的框架，并评估了多种策略的表现，并提出了防止重放重复的策略，探索是否可以通过学习低损失值的新样本来避免回放。

Apr, 2024

基于地图的经验回放：强化学习中灾难性遗忘的一种内存高效解决方案

该研究采用基于心理认知的重新记忆策略，通过构建一个基于地图的经验重播存储库，减少了记忆体的大小，并增加了样本之间的相关性，从而有效地解决了深度增强学习代理在处理新数据时可能出现的忘记先前解决方案的问题。

May, 2023

具备知识整合的记忆高效强化学习

我们提出了一种基于深度 Q 网络算法的记忆效率强化学习算法，通过从目标 Q 网络到当前 Q 网络合并知识，减少遗忘并保持高的样本效率。与基线方法相比，在特征和图像任务中取得了相当或更好的性能，同时减轻了大经验重放缓冲区的负担。

May, 2022

终身语言学习中选择性记忆群体有多大相关性？

本文探讨了稀疏经验回放对于对抗灾难性遗忘的长期语言学习的作用，特别是对于文本分类和问答任务中的样本采样策略对于模型性能的影响。作者发现，在随机存储整个数据流中的均匀数量的样本的方法下，模型表现高，特别适用低存储容量的情况，这与计算机视觉研究一致。

Oct, 2022

深度生成回放的持续学习

本文提出一种新的深度学习框架 Deep Generative Replay 来解决在实现万能人工智能时的一个长期问题：灾难性遗忘。通过引入灵感于灵长类大脑海马体的短期记忆系统，在该框架中包含一个生成模型和一个任务求解模型，并在图像分类任务中进行了相关实验和测试。

May, 2017