Dec, 2022

在像素级别释放视觉提示的威力

PDF
TL;DR本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。
visual prompting methodpre-trained modelstransferable adversarial examplesoptimizationclip model
发现论文，激发创造
  • 探索视觉提示以适应大规模模型

    通过视觉提示来适应视觉中的大规模模型，这种方法在适应预先训练模型方面非常有效。

    Mar, 2022

  • 图像修复视觉提示

    本文通过在测试时间给定新任务的输入输出图像样例及一个新的输入图像，自动产生与这些样例一致的输出图像的方式，探讨了如何在没有特定任务的微调或任何模型修改的情况下，将预训练的视觉模型适应于新的下游任务，并证明了将图像修补算法训练在正确的数据上的效果。

    Sep, 2022

  • 语义残差指令用于持续学习

    通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

    Mar, 2024

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 文本到图像生成的提示优化

    该研究提出了一种文本生成图像的自适应提示适配框架，该框架使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像，实验结果表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已经公开发布。

    Dec, 2022

  • 理解与改善视觉提示：标签映射视角

    本论文讨论了思考视觉提示、标签映射和迁移学习等一系列问题，提出了 ILM-VP 和 CLIP-VP 等新的提示方法，并在多个数据集上实现了进一步提升精度的效果。

    Nov, 2022

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 仅使用文本监督在视觉 - 语言模型中学习提示

    本研究提出了一种使用仅文本数据学习通用提示的方法，通过将 LLL（large language models）中的上下文数据映射到学习到的提示中，实现了零样本转移，并在 4 个基准测试上进行了广泛评估。

    Jan, 2024

  • 分布式学习

    提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

    May, 2022

  • 细粒度视觉提示

    本文介绍了一种新的零样本学习框架，Fine-Grained Visual Prompting（FGVP），通过使用精确的掩码注释来改进视觉提示设计，并展示了在不同的基准测试上均优于传统方法的性能表现。

    Jun, 2023