终身语言学习中选择性记忆群体有多大相关性？

ACLOct, 2022

终身语言学习中选择性记忆群体有多大相关性？

How Relevant is Selective Memory Population in Lifelong Language Learning?

Vladimir Araujo, Helena Balabin, Julio Hurtado, Alvaro Soto, Marie-Francine Moens

TL;DR本文探讨了稀疏经验回放对于对抗灾难性遗忘的长期语言学习的作用，特别是对于文本分类和问答任务中的样本采样策略对于模型性能的影响。作者发现，在随机存储整个数据流中的均匀数量的样本的方法下，模型表现高，特别适用低存储容量的情况，这与计算机视觉研究一致。

Abstract

lifelong language learning seeks to have models continuously learn multiple tasks in a sequential order without suffering from catastrophic forgetting. State-of-the-art approaches rely on sparse experience replay

lifelong language learning sparse experience replay text classification question-answering sampling strategy

发现论文，激发创造

提升连续学习中的回放样本选择和存储，减少遗忘

通过对常用的蓄水池采样方法与其他替代人群策略进行比较，本研究旨在解决连续学习中选择最具信息价值样本和确定最优存储样本数量的问题，并提供了相关的详细分析。

Aug, 2023

利用稀疏经验回放进行元学习，实现终身语言学习

本文提出了一种基于元学习和稀疏经验回放的方法来实现连续学习，以避免深度学习模型在顺序学习任务时遗忘先前的知识。该方法在真实场景下实现了连续的文本分类和关系提取任务，并展示了其低计算和空间复杂度。

Sep, 2020

终身语言学习中的情景记忆

提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。

Jun, 2019

受限内存下高效元生存学习

本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

Oct, 2020

选择性经验回放用于终身学习

本文研究通过经验重放的方法，利用 “distribution matching” 算法来防止深度神经网络多任务学习中的严重忘却问题。实验探索了不同体验选择策略的优缺点，结果表明分布匹配算法可以成功避免严重忘却问题，并且在所有测试领域中始终表现最佳。同时我们发现，当部分任务的重要性比其他任务更高时，最大化状态空间覆盖率是有福利的。

Feb, 2018

通过对比策略进行终身学习和选择性遗忘

基于对比策略的学习、选择性遗忘 (LSF) 框架使得长期学习中忘却和记忆不同类别可以互相独立，通过维护或扰乱特征分布，在四个基准数据集上实验表明我们的方法达到了最新的最优结果。

May, 2024

谨慎行事：规模化持续学习的最佳检索

通过研究回放方法在连续学习中的应用，本文提出了一种评估选择性检索策略的框架，并评估了多种策略的表现，并提出了防止重放重复的策略，探索是否可以通过学习低损失值的新样本来避免回放。

Apr, 2024

面向持续终身学习的可扩展回忆

本文提出一种新的可扩展体系结构和训练算法解决 Deep Learning 在 lifelong learning 场景中面临的挑战，尤其是在训练时间和内存限制下存储经验的问题，并在性能评估中取得了显著提升。

Nov, 2017

连续学习中的自适应记忆回放

基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达 10%。

Apr, 2024

大型语言模型中的少样本记忆识别、回忆和保留

现代大型语言模型的训练中，即使只看几次，一个模型也可以记住它们，但随着新的例子不断训练，模型的这些记忆会逐渐被覆盖。同时，这些模型在识别、回忆和保留方面的表现提高得非常快。

Mar, 2023