一阶段基于提示的持续学习

Feb, 2024

One-stage Prompt-based Continual Learning

Youngeun Kim, Yuhang Li, Priyadarshini Panda

TL;DR通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示池之间的关系，该损失仅在训练时应用，因此在推理阶段没有计算开销。通过引入 QR 损失，我们的方法在推理过程中仍然保持了约 50% 的计算成本降低，并且在包括 CIFAR-100、ImageNet-R 和 DomainNet 在内的公共类增量连续学习基准测试中优于之前的两阶段 PCL 方法约 1.4%。

Abstract

prompt-based continual learning (PCL) has gained considerable attention as a promising continual learning solution as it achieves state-of-the-art performance while preventing privacy violation and memory overhead issues. Nonetheless, existing PCL approaches face significant computatio

prompt-based continual learning vision transformer computational cost reduction query-pool regularization class-incremental continual learning

发现论文，激发创造

语义残差指令用于持续学习

通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

Mar, 2024

卷积提示与语言模型相遇的持续学习

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

CODA-Prompt: 基于分解注意力的持续提示学习

提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。

Nov, 2022

引入语言指导在基于提示的持续学习中

在连续学习中，我们提出了 Prompt-based Continual Learning（LGCL）作为 Prompt-based 方法的插件，引入了任务级别和类别级别的语言引导，并通过广泛的实验表明，LGCL 能够持续提高 Prompt-based 连续学习方法的性能，实现了新的技术水平。此外，LGCL 还不需要额外的可学习参数。

Aug, 2023

探索面向代码生成模型的持续学习

本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

Jul, 2023

视觉语言理解的情境提示学习

本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

Jul, 2023

专家混合遇上基于提示的连续学习

基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

May, 2024

通过图像记号进行语义提示的持续学习

我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。

Mar, 2024

检索增强的视觉提示学习用于少样本分类

本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

Jun, 2023

DPL: 视听模型的解耦式提示学习

通过解耦关注力，提出了一种新的方法 Decoupled Prompt Learning (DPL) 来增强 prompt learning 的泛化能力，并在多个基准测试中取得了最先进的性能。

Aug, 2023