Apr, 2023

基于对比特征重构的逐步视觉提示学习

PDF
TL;DR本文针对视觉 - 语言模型中的文本提示有限，现有视觉提示方法性能或训练过程不稳定的问题，提出了一种新的渐进式视觉提示结构（ProVP），并结合对比特征重构，最终获得了在 11 个基准数据集上的最佳性能。
prompt learningvision-language modelsvisual promptprovpcontrastive feature re-formation
发现论文，激发创造
  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 理解与改善视觉提示：标签映射视角

    本论文讨论了思考视觉提示、标签映射和迁移学习等一系列问题，提出了 ILM-VP 和 CLIP-VP 等新的提示方法，并在多个数据集上实现了进一步提升精度的效果。

    Nov, 2022

  • 逐步多模态条件提示调整

    通过迭代利用图像和当前的编码信息，我们提出了一种新颖的方法 —— 渐进式多模态条件 Prompt 调整（ProMPT），通过多模态提示的方式使视觉 - 语言特征逐步对齐，从而实现从粗糙到准确的分类。在所有设置中，广泛的实验证明了 ProMPT 方法相对于现有方法的优越性。

    Apr, 2024

  • 走向强大而准确的视觉提示

    我们研究了视觉提示在强大源模型下的性能表现，并提出了一种名为 Prompt Boundary Loose (PBL) 的新技术来有效减轻在标准准确性上的次优结果，同时使用强大模型作为源模型不会丧失（甚至明显改善）其对抗性鲁棒性。在多个数据集上的广泛实验证明了我们发现的泛用性，并展示了我们提出方法的显著优势。

    Nov, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 细粒度视觉提示

    本文介绍了一种新的零样本学习框架，Fine-Grained Visual Prompting（FGVP），通过使用精确的掩码注释来改进视觉提示设计，并展示了在不同的基准测试上均优于传统方法的性能表现。

    Jun, 2023

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 通过动态视觉提示将预训练语言模型应用于视觉语言任务

    本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜索算法，在保持 PLMs 参数完整性的情况下，有效地将其与不同的视觉语言任务相结合。经过广泛的实验验证，DVP 在效率和性能方面都具有优势，并且能够很好地适应预训练语言模型与 VL 任务相结合的需求。

    Jun, 2023

  • 探索视觉提示以适应大规模模型

    通过视觉提示来适应视觉中的大规模模型，这种方法在适应预先训练模型方面非常有效。

    Mar, 2022