Mar, 2024

跨模态视觉推理的测试时分布学习适配器

PDF
TL;DR在本研究中，我们提出了一种名为 TT-DNA 的测试时分布学习适配器，通过在测试期间直接建模来自支持集的视觉特征的高斯分布，将其与原始的 CLIP 预测进行残差连接，得到最终预测。我们在人类对象交互的视觉推理方面的广泛实验结果表明，我们提出的 TT-DNA 方法在性能上明显优于现有的最先进方法。
vision-language pre-trained modelscliptest-time distribution learning adaptervisual reasoninghuman object interaction
发现论文，激发创造
  • 视觉语言模型零样本泛化的测试时间自适应与 CLIP 奖励

    提出一种测试时反馈方法来解决视觉 - 语言模型的输出与任务目标之间的不匹配问题，以避免模型过拟合于其不正确的输出分布。具体而言，采用 CLIP 作为奖励模型，在不同的任务中，包括图像分类、图像文本检索和图像标题生成等。通过强化学习，以最大化 CLIP 奖励为目标来进行单一测试样本的训练。经过广泛实验，证明了这种测试时反馈方法可以显著提高不同的视觉 - 语言模型的结果。

    May, 2023

  • CLIP-Adapter: 特征适配器提升视觉语言模型

    本文提出一种新的视觉语言模型 fine-tuning 方式 ——CLIP-Adapter，通过在原训练模型上加入新特征层并进行残差式混合来实现，在各种视觉分类任务中表现优异，优于 context optimization

    Oct, 2021

  • 无监督视觉语言模型的原型适配器

    我们设计了一种名为 Unsupervised Prototype Adapter (UP-Adapter) 的无监督微调方法，通过利用 CLIP 的文本 - 图像对齐能力自动选择每个类别中最有信心的样本，并利用这些选择的样本生成类别原型，用于可学习的原型模型的初始化。经过微调后，通过剩余连接将原型模型的预测与原始 CLIP 的预测相结合，用于执行下游识别任务。我们在图像识别和领域泛化方面的大量实验结果表明，所提出的无监督方法在 8-shot CoOp、8-shot Tip-Adapter 以及最先进的 UPL 方法上都取得了显著优势。

    Aug, 2023

  • Tip-Adapter：面向视觉语言模型的无需训练的 CLIP 适配器

    该论文提出了一种名为 Tip-Adapter 的基于 CLIP 的适配器模型，通过无需训练的键值缓存模型构建配适器权重，极大地提升了 CLIP 的少样本分类能力。

    Nov, 2021

  • 视觉语言模型泛化的不变测试时间适应

    通过测试时间提示调整范式优化学习提示的方式，该方法在下游任务中成功地减轻了依赖于潜在具有误导性的与任务无关的上下文信息，同时强调关键的与任务相关的视觉线索。

    Mar, 2024

  • 分布归一化：对基于对比学习的视觉语言模型进行 “轻松” 的测试时间增强

    通常的下游做法只是优化目标的零阶近似，而 Distribution Normalization（DN）可以很好地检索到负样本的信息，从而在测试时间获得更好的性能。

    Feb, 2023

  • Tip-Adapter: 无需训练的适应 CLIP 用于少样本分类

    本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择。实验证明，Tip-Adapter 在 11 个数据集上均有突出表现，并可以通过少量的模型微调达到 ImageNet 上的最优。

    Jul, 2022

  • 高效的视觉语言模型测试时间自适应

    TDA 是一种训练 - free 的动态适配器，通过轻量级的键值缓存和逐步的伪标签细化，以及引入负伪标签，实现了有效和高效的测试时自适应。

    Mar, 2024

  • CLIPArTT: 测试时基于新领域的 CLIP 轻量级适应

    通过在推理过程中自动构建文本提示并使用其作为文本监督，CLIPArTT 方法在不需要额外培训的情况下，通过独特的、最小侵入性的文本提示调优过程，使预训练视觉 - 语言模型在各种数据集和环境中动态提升性能并改善适应性。

    May, 2024

  • 训练无关 CLIP 基于适应的难以超越的基准线

    对比语言 - 图像预训练（CLIP）已经因其非凡的零 - shot 能力而受到广泛关注。本研究聚焦于开发高效的微调方法来提升 CLIP 在下游任务中的性能，其中包括提示学习和适配器。然而，这些方法仍然需要额外的训练时间和计算资源，对于资源有限的设备来说并不理想。因此，我们重新审视了经典算法高斯判别分析（GDA），应用它于 CLIP 的下游分类中。通过利用贝叶斯公式，高斯判别分析假设每个类别的特征都服从具有相同协方差的高斯分布。我们将 GDA 与 CLIP 中的原始零 - shot 分类器进行集成，以融合视觉和文本模态的知识。对 17 个数据集进行广泛的实验证明，我们的方法在少样本分类、不平衡学习和超出分布泛化等方面超过或达到了与最先进方法相当的结果。此外，我们还将我们的方法扩展到基于新类别的推理和无监督学习，再次展示了其优越性。我们的代码在 https://github.com/mrflogs/ICLR24 上公开可用。

    Feb, 2024