COLINGApr, 2022

增量提示：面向终身事件检测的情节记忆提示

PDF
TL;DR本文介绍了一种利用 Episodic Memory Prompts (EMP) 方法保存任务特有的知识以及在 Lifelong Event Detection 和 Lifelong Learning 中有效传递旧知识的算法，并通过实验结果证明了方法的有效性。
lifelong event detectionepisodic memory promptstask-specific knowledgeevent-specific representationlifelong learning
发现论文，激发创造
  • 终身语言学习中的情景记忆

    提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。

    Jun, 2019

  • 持续学习自动提示学习

    提出了利用动态提示 (L2P) 来训练更简洁的神经网络内存系统的方法，以管理任务不变和任务特定知识，从而在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。

    Dec, 2021

  • 嵌入空间分离与压缩的终身事件检测

    为了解决遗忘和过拟合问题，我们提出了一种基于嵌入空间分离和压缩的新方法。该方法通过迫使新数据的特征分布与先前的嵌入空间分离来减轻先前学习任务的遗忘，并通过内类紧凑性增强机制鼓励记忆数据靠近其原型，从而减轻过拟合。此外，新任务的学习参数通过利用先前学习任务中获得的知识来初始化，以促进前向知识传输。通过大量实验证明，我们的方法可以显著优于先前的最先进方法。

    Apr, 2024

  • 受限内存下高效元生存学习

    本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

    Oct, 2020

  • 基于情节化记忆的终身学习改进方案

    本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II，这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合，调节旧任务和新任务之间的平衡，并通过新的损失平衡更新规则，极大地提高了性能，在四个常用的终身学习基准测试中，将误差降低 18％。

    Sep, 2019

  • 渐进式提示：语言模型的持续学习

    利用 Progressive Prompts 方法解决语言模型领域中的连续学习问题，它以前向传递为基础，无需数据重放或大量的任务特定参数，并且其推动学习的方式有助于抵御灾难性遗忘，实验表明相对于 T5 模型的最佳方法，平均测试准确性提高了 20% 以上，即使在较长序列的任务中，我们的方法也明显优于之前的方法。

    Jan, 2023

  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 渐变周期性记忆用于连续学习

    研究了 AI 发展中的一个主要障碍，即模型快速解决新问题的能力欠佳且容易忘记先前获得的知识。提出了一种基于连续数据的模型学习评估指标并提出了 Gradient Episodic Memory (GEM) 模型，它可以减轻模型遗忘的问题并允许将知识传递到以前的任务中。实验表明，相对于现有技术水平，GEM 表现良好。

    Jun, 2017

  • INCPrompt：面向任务感知的递增提示的无预演练类递增学习

    本文介绍了 INCPrompt，一种创新的连续学习解决方案，有效地解决了灾难性遗忘问题。INCPrompt 的关键创新在于使用了自适应关键学习者和任务感知提示，捕捉任务相关信息。通过在多个连续学习基准测试中进行全面评估，我们证明了 INCPrompt 相对于现有算法的优越性，显示了其在缓解灾难性遗忘的同时保持高性能的效果。这些结果突显了任务感知增量提示对连续学习性能的重要影响。

    Jan, 2024

  • 无需重复训练的层次提示连续学习

    本文介绍了一种无需复盘的延续学习新范式，称为分层提示（H-Prompts），包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识，通过跨任务知识挖掘来减少过去任务知识的遗忘，并利用自监督方式推导出高度概括的通用知识。在两个基准测试中，证明了所提出的 H-Prompts 的高效性，分别在 Split CIFAR-100 上达到了 87.8％的平均准确率，以及在 Split ImageNet-R 上达到了 70.6％的准确率。

    Jan, 2024