Mar, 2023

多样性感知的元视觉提示

HTML
PDF
TL;DR本文提出了一种称为 Diversity-Aware Meta Visual Prompting 的有效提示方法，可将预训练模型传递到冻结的下游任务，旨在解决图像数据集多样性大的挑战性问题。该方法包括数据集多样性感知提示策略，集群下游数据集到具有相似性的小子集，给每个子集优化一个提示，所有提示都由一个元提示初始化，通过推断过程动态选择适当的提示。实验结果表明，DAM-VP 优于以前的提示方法。
发现论文，激发创造
  • 探索视觉提示以适应大规模模型

    通过视觉提示来适应视觉中的大规模模型，这种方法在适应预先训练模型方面非常有效。

    Mar, 2022

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在12个流行的分类数据集上创造了82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • BlackVIP: 用于稳健转移学习的黑盒视觉提示

    本研究提出了基于黑盒视觉提示的少样本学习方法，拥有强大的适应能力和鲁棒性，能够高效地适应并提高预训练模型的性能。

    Mar, 2023

  • 自我调节提示：基础模型适应无需遗忘

    本文提出了一种称为PromptSRC的自正则化框架，以指导提示对特定任务和特定不可知通用表示进行优化，通过三种方法实现互相协调的学习，从而最大化下游任务的表现而不损害CLIP泛化能力。

    Jul, 2023

  • 有效测试时间提示调整的多样化数据增强与扩散

    使用DiffTPT方法通过利用预训练扩散模型生成多样且信息丰富的新数据，结合常规方法和预训练稳定扩散的增强数据，选择与单个测试样本更相似的生成数据以提高预测准确度，证明DiffTPT方法能够提高零样本准确率。

    Aug, 2023

  • AutoVP：自动视觉提示框架与基准

    以視覺提示（VP）作為研究對象，本文提出了AutoVP框架，用於自動化VP設計選擇，同時評估其性能。通過對12個下游圖像分類任務進行綜合性能評估，實驗結果顯示AutoVP優於當前已知VP方法，並提供了高達6.7％的準確率改進和最高27.5％的性能增益。

    Oct, 2023

  • 视觉背景提示

    本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在COCO和SA-1B上进行联合训练，我们的模型在COCO上达到57.7 PQ，在ADE20K上达到23.2 PQ。

    Nov, 2023

  • SA$^2$VP：空间对齐和自适应视觉提示

    通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

    Dec, 2023

  • AdaViPro: 基于区域的大规模模型的自适应视觉提示

    我们提出了一个名为AdaViPro的区域自适应视觉提示，它将提示的“添加到哪里”优化集成到学习过程中，通过基于Gumbel-Softmax采样实现端到端学习，通过大量实验证明，AdaViPro在适应预训练模型方面产生了新的效率和准确性权衡。

    Mar, 2024

  • 重新审视视觉语言模型的提示预训练

    本研究解决了在视觉语言模型提示预训练中有限可学习提示面临的欠拟合风险和泛化能力不足的问题。我们提出了一种通用框架——重新审视提示预训练（RPP），通过引入不共享的个体查询、键和值学习提示及利用预训练CLIP教师模型的软标签，来提升模型的适应能力和泛化性能。实验表明，RPP在多个基准测试中表现出色，证明了其在各类视觉识别任务中的强大传递能力。

    Sep, 2024