Nov, 2023

GIPCOL: 图注入软指导的组合式零样本学习

PDF
TL;DR我们提出了 GIP-COL（注入图结构的软提示用于组合学习），在提示为基础的学习框架内更好地探索预训练视觉 - 语言模型（VLMs）的组合式零样本学习（CZSL）能力。使用新的提示策略，GIPCOL 在三个 CZSL 基准测试中取得了最新的 AUC 结果，包括 MIT-States、UT-Zappos 和 C-GQA 数据集，相比之前的非 CLIP 和基于 CLIP 方法，在封闭和开放设置下都取得了最新的结果。我们的研究结果具有启发意义，可为 CZSL 的有效提示设计提供指导。
发现论文，激发创造
  • 学习生成软提示用于组合式零样本学习

    本文提出了一种叫做 CSP 的组成式软提示技术，用于提高大规模预训练视觉 - 语言模型的零样本组成性能；对比已有的方法，CSP 通过训练学习组件而不是固定的预设生词表，可以实现更好的预测表现。

    Apr, 2022

  • 面向组合式零样本学习的语言指导分布促进

    本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能，通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQA 数据集的实验结果表明，PLID 方法相较于其他方法表现更佳。

    May, 2023

  • 分解软提示引导融合增强组合式零样本学习

    提出了一种名为 DFSP 的新型框架，它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立，通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示，并在语言和图像分支之间设计了一种跨模式分解融合模块，从而更好地学习它们之间的关系，提高了成对空间中未知构成的反应，从而缩小了已知集和未知集之间的域间隙。实验结果表明，该方法在三个具有挑战性的基准测试数据集上对于已有的最先进方法有显着的改善。

    Nov, 2022

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • 语义组合提升视觉 - 语言对比学习

    通过引入语义组合样本，我们通过一个简单的技术（称为 CLIP-C），显著改善了零样本图像分类和跨模态检索的能力，而不需要额外的计算开销或模型参数增加。

    Jul, 2024

  • COMMA: 共同表达多模式学习

    本研究提出了 Co-Articulated Multi-Modal Learning (COMMA) 方法，通过联合考虑视觉和语言分支的提示来增强两者的表示对齐，并减轻预训练模型中基本知识的遗忘，实现在多个任务中对新类别、新目标数据集和未见域漂移的良好性能提升。

    Dec, 2023

  • IntCoOp：可解释性感知的视觉 - 语言提示调优

    通过引入属性级归纳偏差和类嵌入来提高图像 - 文本对齐分数的一种新颖的和可解释的提示调优方法。我们通过在 CLIP 上的广泛实验中评估 IntCoOp 来证明其有效性，并发现在 10 个不同领域的下游数据集上，引入属性级归纳偏差能够比现有的提示调优框架获得更好的性能，特别是在 16 张图片的情况下，IntCoOp 提高了 10 个不同数据集的平均表现 7.35%。

    Jun, 2024

  • ComCLIP: 无须训练的图文组合匹配

    本文通过提出一种新颖的训练免费的组合 CLIP 模型 (ComCLIP) 来解决复合图像和文本匹配的问题，通过将输入图像分解为主题、对象和动作子图像，并组合 CLIP 的视觉编码器和文本编码器来在组成性文本嵌入和子图像嵌入上执行动态匹配，从而实现了对差异性语义的建模，提高了 CLIP 的零样本推理能力。

    Nov, 2022

  • 利用无监督提示学习改进图像字幕泛化性能

    通过无监督的提示学习方法，本文提出了一种改进图像字幕生成通用性的方法，该方法利用预训练的视觉 - 语言模型来学习目标领域的特定提示向量，通过属性一致性和语义一致性优化领域特定提示向量，从而有效地保留了大型模型中的知识并引入了领域特定知识。

    Aug, 2023