Nov, 2022

CODA-Prompt: 基于分解注意力的持续提示学习

PDF
TL;DR提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。
computer visioncatastrophic forgettingcontinual learningpre-trained vision transformer modelsattention-based key-query scheme
发现论文，激发创造
  • DualPrompt：无需复习的连续学习的互补提示

    DualPrompt 提出了一种无需 rehearsal buffer 的连续学习框架，通过学习使用预先训练好的模型进行有序任务学习的任务不变和任务特定的指示来达到目的，表现出卓越的性能。

    Apr, 2022

  • 无需重复训练的层次提示连续学习

    本文介绍了一种无需复盘的延续学习新范式，称为分层提示（H-Prompts），包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识，通过跨任务知识挖掘来减少过去任务知识的遗忘，并利用自监督方式推导出高度概括的通用知识。在两个基准测试中，证明了所提出的 H-Prompts 的高效性，分别在 Split CIFAR-100 上达到了 87.8％的平均准确率，以及在 Split ImageNet-R 上达到了 70.6％的准确率。

    Jan, 2024

  • 卷积提示与语言模型相遇的持续学习

    提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

    Mar, 2024

  • 专家混合遇上基于提示的连续学习

    基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

    May, 2024

  • 对话状态跟踪的继续提示调整

    本文提出了一种连续的提示调整参数有效的框架，可避免对旧任务的遗忘并在任务之间实现知识转移，验证实验表明该方法在对话状态跟踪领域中具有有效性和高效性。

    Mar, 2022

  • 持续学习自动提示学习

    提出了利用动态提示 (L2P) 来训练更简洁的神经网络内存系统的方法，以管理任务不变和任务特定知识，从而在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。

    Dec, 2021

  • INCPrompt：面向任务感知的递增提示的无预演练类递增学习

    本文介绍了 INCPrompt，一种创新的连续学习解决方案，有效地解决了灾难性遗忘问题。INCPrompt 的关键创新在于使用了自适应关键学习者和任务感知提示，捕捉任务相关信息。通过在多个连续学习基准测试中进行全面评估，我们证明了 INCPrompt 相对于现有算法的优越性，显示了其在缓解灾难性遗忘的同时保持高性能的效果。这些结果突显了任务感知增量提示对连续学习性能的重要影响。

    Jan, 2024

  • 使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀

    本研究提出了 S-Prompting 范式和两种方法，通过独立学习提示，从而高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习（DIL）中的最佳表现。

    Jul, 2022

  • 无插值复习的连续学习一致提示

    本文提出了一种新的基于提示的方法，Consistent Prompting（CPrompt），用于更加一致的训练和测试，在多个持续学习基准测试中实现了最新的性能表现。

    Mar, 2024

  • 基于提示的逐步学习的分层分解：重新思考模糊的次优性

    通过在自我监督预训练中应用分层分解 (HiDe-Prompt) 的创新方法，通过一系列特定任务的提示和无指导和有指导表示的统计数据的协调，以及对比正则化策略，我们展示了 HiDe-Prompt 在持续学习中的优越性能和对预训练范式的鲁棒性。

    Oct, 2023