IJCAIApr, 2024

任务不平衡持续学习的动态锚定提示

PDF
TL;DR本研究探讨了任务不平衡连续学习（TICL）场景下，基于提示的动态锚定方法（DAP）在稳定性和可塑性之间寻求平衡，为 TICL 中的数据流改变提供了 4.5% 到 15% 的绝对改进。
task-imbalanced continual learningdynamically anchored promptingstabilityplasticityrehearsal-free cl
发现论文，激发创造
  • 基于提示池的逐步增加分类的对话状态跟踪

    我们提出了一种使用提示池方法的持续学习方案，能够在测试中自动识别任务和选择适当的提示，并结合回放缓冲区进一步提高模型性能。

    Nov, 2023

  • 持续学习自动提示学习

    提出了利用动态提示 (L2P) 来训练更简洁的神经网络内存系统的方法，以管理任务不变和任务特定知识，从而在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。

    Dec, 2021

  • DPL: 视听模型的解耦式提示学习

    通过解耦关注力，提出了一种新的方法 Decoupled Prompt Learning (DPL) 来增强 prompt learning 的泛化能力，并在多个基准测试中取得了最先进的性能。

    Aug, 2023

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • POP：面向连续学习的提示

    本文提出了 Prompt Of Prompts (POP) 模型，它通过逐步学习一组任务特定 prompt 和一组全局 prompt 的方式来捕捉多个任务之间的信息集成，并证明这个模型在少样本情况下能够优于传统的 CL 方法。

    Jun, 2023

  • 基于大型语言模型的交互式和可视化提示工程，用于即席任务适应

    本文介绍了一种使用神经语言模型的 zero-shot prompting 方法，在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具，该工具可以帮助用户实验不同的提示词选择，以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。

    Aug, 2022

  • DualPrompt：无需复习的连续学习的互补提示

    DualPrompt 提出了一种无需 rehearsal buffer 的连续学习框架，通过学习使用预先训练好的模型进行有序任务学习的任务不变和任务特定的指示来达到目的，表现出卓越的性能。

    Apr, 2022

  • 语义残差指令用于持续学习

    通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

    Mar, 2024

  • 卷积提示与语言模型相遇的持续学习

    提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

    Mar, 2024

  • 注意指令：基于提示的学习中一致性和交互的整体评估

    通过系统、全面的评估，本研究发现预训练语言模型的适应任务方式中的设计选择会造成不稳定性和不一致性的问题，并指出在大多数场景中应该避免或小心处理哪些因素。

    Oct, 2023