提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。

Nov, 2022

通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

Mar, 2024

通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示池之间的关系，该损失仅在训练时应用，因此在推理阶段没有计算开销。通过引入 QR 损失，我们的方法在推理过程中仍然保持了约 50% 的计算成本降低，并且在包括 CIFAR-100、ImageNet-R 和 DomainNet 在内的公共类增量连续学习基准测试中优于之前的两阶段 PCL 方法约 1.4%。

Feb, 2024

我们引入了一种新颖的连续语义和全景分割策略，名为 kNN-CLIP，它能够在计算和内存成本最小化的情况下，实现对不断扩大的词汇的适应，并在大词汇语义和全景分割数据集上取得了最先进的性能表现，为实现更高效、可适应性强的连续分割方法迈出了一步。

Apr, 2024

通过引入 SPT-SEG 方法，我们改善了 CLIP 的自适应能力，使其能够从图像到像素的转换，并采用高频和低频信息来引导网络的空间焦点，从而实现精确的像素级预测结果。在两个公共数据集上进行了大量实验证明我们方法的优越性，在处理未见类别方面表现出色。

Dec, 2023

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

本文提出了一种连续的提示调整参数有效的框架，可避免对旧任务的遗忘并在任务之间实现知识转移，验证实验表明该方法在对话状态跟踪领域中具有有效性和高效性。

Mar, 2022

该论文提出了一个基于预训练及显式视觉提示（EVP）的统一框架，用于多个前景分割任务，其性能优于全调参及其他节约参数细调的方法，并展示了该方法在不同架构、预训练权重和任务上的可扩展性。

May, 2023

使用深度学习进行医学图像分析时，由于有限的标记数据和高昂的注释成本，往往面临挑战。本文提出了一种将选择性标记与提示调整相结合的框架（SLPT），以提高有限标签下的性能，同时保持预训练模型不变，通过仅使用有限标记数据对这些参数进行更新。该框架包括了一个特征感知提示更新器，以引导提示调整，并采用基于提示的不确定性的无监督多样性选择和有监督选择。此外，我们提出了一种多样化的视觉提示调整策略，为选择性标记提供多提示的不同预测。在肝肿瘤分割任务上，我们的方法取得了最先进的性能，仅使用可调参数的 6%，仅标记了 5% 的数据即可达到全数据性能的 94%。

Aug, 2023