Mar, 2024

通过图像记号进行语义提示的持续学习

PDF
TL;DR我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。
continual learningprompt-based learningtask-selectioni-promptvisual semantic information
发现论文，激发创造
  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • ICPC：基于对照学习的实例条件提示的语义分割

    通过改进提示设计和损失函数，我们提出了一种实例条件提示与对比学习（ICPC）框架，改善了视觉和文本嵌入对准的质量，并在三个大规模数据集上展示出改进的性能。

    Aug, 2023

  • 语义转移的一对多解决方案：持续学习的自适应提示调整

    我们提出了一种自适应提示方法，通过宏观语义分配和微观语义细化的过程，根据任务语义量身定制最小且足够的提示，以提高在真实连续学习环境中学习的效率和效果。实验证明，该方法在适应各种任务中的不同语义转变方面始终优于现有方法。

    Nov, 2023

  • 基于大型语言模型的交互式和可视化提示工程，用于即席任务适应

    本文介绍了一种使用神经语言模型的 zero-shot prompting 方法，在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具，该工具可以帮助用户实验不同的提示词选择，以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。

    Aug, 2022

  • 基于原型的提示学习：基于预训练的视觉语言模型的原型提示学习

    本文介绍了一个基于原型的新型学习方法 —— 原型提示学习法（PTP），用于在预先训练的视觉语言模型中进行少量样本的图像识别任务。通过定义图像原型和提示原型来实现相似图像的相似提示，从而有效地利用潜在知识并适应各种 PVLM。

    Oct, 2022

  • 语义残差指令用于持续学习

    通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

    Mar, 2024

  • 零迁移连续提示：跨语言模型泛化任务语义

    我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

    Oct, 2023

  • 卷积提示与语言模型相遇的持续学习

    提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

    Mar, 2024

  • 小样本图像识别的语义提示

    该研究提出了一种基于语义提示的适应性视觉特征提取方法，通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力，从而在极少量的支持样本下，实现更好的类别特定特征捕捉和更广泛的图像表示。

    Mar, 2023

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023