使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀

Jul, 2022

使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀

S-Prompts Learning with Pre-trained Transformers: An Occam's Razor for Domain Incremental Learning

Yabin Wang, Zhiwu Huang, Xiaopeng Hong

TL;DR本研究提出了 S-Prompting 范式和两种方法，通过独立学习提示，从而高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习（DIL）中的最佳表现。

Abstract

State-of-the-art deep neural networks are still struggling to address the catastrophic forgetting problem in continual learning. In this p

deep neural networks catastrophic forgetting problem continual learning domain increment learning s-prompting

发现论文，激发创造

CODA-Prompt: 基于分解注意力的持续提示学习

提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。

Nov, 2022

卷积提示与语言模型相遇的持续学习

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

领域泛化的 Prompt 视觉 Transformer

本论文提出了基于 prompt learning 的全新方法 DoPrompt，利用 domain prompts 嵌入源域的知识进行目标域的预测，针对视觉转换器 (ViT) 在领域泛化方面存在的问题，经过大量实验证明本文方法在四个基准数据集上获得了 1.4% 的精度提高，是基于 ViT 骨干结构的状态 - of-the-art 算法的 3.5 倍。

Aug, 2022

SwitchPrompt: 学习特定领域的门控软提示，以在低资源领域中进行分类

本研究提出了一种名为 SwitchPrompt 的轻量级提示方法，通过使用可训练的闸门提示和领域特定关键字，将预训练的通用领域语言模型来适应各种低资源域，实验结果表明 SwitchPrompt 减少了领域特定语言模型预训练的需求，并在三种文本分类基准测试中显著提高了准确率，比基准提示方法训练出的领域特定对应物最高可提高 10.7％。

Feb, 2023

专家混合遇上基于提示的连续学习

基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

May, 2024

BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

Jan, 2024

DualPrompt：无需复习的连续学习的互补提示

DualPrompt 提出了一种无需 rehearsal buffer 的连续学习框架，通过学习使用预先训练好的模型进行有序任务学习的任务不变和任务特定的指示来达到目的，表现出卓越的性能。

Apr, 2022

面向随时调优的持续预训练语言模型与超网络提示

通过超网络生成领域特定的提示，以解决一直持续预训练方法在新领域性能下降的问题，并促进跨领域的知识迁移。该方法在两个真实数据集上实现了 3.57% 和 3.4% 的改进，证明其有效性。

Oct, 2023

通过图像特定提示学习进行零样本生成模型适应

该研究项目提出了一种名为图像特定提示学习（IPL）的方法，能够为每个源域图像学习特定的提示向量，从而为每个跨域图像对提供更准确的适应方向，增强目标域生成器的灵活性，并改善合成图像的质量和多样性。

Apr, 2023

反事务提示的领域跨度槽位填充的生成式零样本提示学习

零 - shot 跨领域槽填充的生成式零 - shot 提示学习框架，通过反向提示策略区分不同槽类型以避免多重预测问题，以及通过训练更少的提示参数来提高性能，证明了我们提出的框架的有效性，尤其是在未见过的槽上有巨大的提升（+13.44% F1）。

Jul, 2023