IJCAIMay, 2024

TAI++：基于共同学习的可迁移提示的多标签图像分类中的文本作为图像

PDF
TL;DR该研究论文提出了一种使用伪视觉提示的模块来改进多标签图像分类的性能，通过将伪视觉提示与文本提示结合，增强它们的视觉表示能力，并在多个数据集上展示了超过现有方法的性能提升。
multi-label image classificationpre-trained vision-language modelsprompt tuningvisual knowledgepseudo-visual prompt
发现论文，激发创造
  • Instruction-ViT: ViT 中用于指令学习的多模态提示

    本篇论文研究了采用提示（prompt）对图片进行分类的方法，通过引入多模质询与 fine-tuning 相结合的方式，提高了图片分类的性能和领域适应性。

    Apr, 2023

  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024

  • 图像文本：学习可转移的多标签分类适配器

    通过预先训练的视觉 - 语言模型，结合适当的调整和随机扰动方法构建了一个能够自动识别图像标签的全自动流水线，该方法在各种多标签分类任务中显示出优越性能。

    Dec, 2023

  • LoGoPrompt：合成文本图像可以成为视觉 - 语言模型的良好视觉提示

    本文通过引入合成文本图像作为类别相关的视觉提示，探索了视觉 - 语言模型中视觉提示的作用，并提出了一种 LoGoPrompt 方法，该方法在少样本学习、从基础到新领域的泛化以及领域泛化方面表现出一致优于现有方法的实验结果。

    Sep, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • PiTL：基于提示的弱监督视觉语言预训练的跨模态检索

    本文提出了一种利用大型语言模型从图像中生成标签以进行虚实预训练，减少了对昂贵标注数据的需求，并在图片文字检索方面得到显著的效果提升。

    Jul, 2023

  • 基于文本数据的图像标题生成与交互提示

    TIPCap 是一种基于文本数据的交互提示的图像标题生成方法，通过减少对配对数据的依赖性、构建驱动多变量高斯分布的映射模块以缓解模态差异，并在生成标题之前引入可选的提示信息，优于其他弱监督或无监督的图像标题生成方法，并在 MS-COCO 和 Flickr30K 等常用数据集上达到了最新的最优性能。

    Mar, 2024

  • VoP: 跨模态检索的文本 - 视频协同提示调整

    本文提出 VoP 框架，结合视频和文本提示来提高文本 - 视频检索任务的效率和性能，相比使用 full fine-tuning 更加高效，在 5 个文本 - 视频检索基准上平均能够获得 1.4% 的 R@1 增益，并且仅需要 6 倍于 full fine-tuning 的可训练参数

    Nov, 2022

  • 多任务视觉语言提示微调

    本文提出了一种多任务视觉语言提示调整（MVLPT）方法，将跨任务知识纳入提示调整算法中，其结果在 20 个视觉任务上的表现优于现有方法。

    Nov, 2022

  • 通过图像适应提示调整的复合文本引导

    对视觉语言模型进行复合文本引导的提示调整 (TGP-T)，通过引入文本监督和视觉特征对齐模块 (Bonder)，可以显著降低 GPU 内存占用，同时实现了卓越的性能。

    Dec, 2023