Mar, 2024

零样本泛化的测试时间原型移动：与视觉语言模型

HTML
PDF
TL;DR通过引入测试时间原型偏移（Test-Time Prototype Shifting，TPS）框架，我们在共享嵌入空间中调制每个类别的原型，动态地学习每个原型的偏移向量，从而弥合领域差距，提高分类准确性，并在减少资源需求的情况下取得创新性能的优势。
发现论文，激发创造
  • 视觉-语言模型中零-shot泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的CLIP模型动态调整提示， 以最小化模型预测时的不确定度，提高CLIP模型的泛化能力。实验结果表明，TPT方法在自然情况下的zero-shot top-1准确率比以往方法的提升3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • 大型视觉语言模型的少样本自适应研究

    通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

    Dec, 2023

  • PromptSync：通过分类感知的原型对齐和判别消除视觉语言模型中的领域差距

    通过分类原型对齐和提示同步来提高视觉语言模型的零样本泛化能力和处理类别不平衡问题，并在测试中取得明显优于其他方法的结果。

    Apr, 2024

  • 条件下的原型修正提示学习

    利用大规模的预先训练的视觉语言模型，通过高效的迁移学习方法解决基类过拟合问题，提出了一种条件原型纠正提示学习方法，有效地纠正了基类示例的偏差并增加了有限数据量，在少样本分类和从基类到新类的泛化任务中实现了最先进的性能。

    Apr, 2024

  • 关于视觉语言模型的测试时零样本泛化：我们真的需要提示学习吗？

    通过研究大型视觉-语言模型，特别是CLIP，有效的调整技术，主要关注软提示调整，这催生了一系列研究。与此同时，测试时数据增强正在成为一个重要的研究领域，它利用图像的多个增强视角来增强零样本泛化能力。相反，我们提出了一种用于测试时数据增强的稳健均值漂移（MTA）方法，它超越了基于提示的方法，而无需进行繁琐的训练过程。此方法是独立和基于API的应用的理想解决方案。此外，我们的方法不依赖于一些先前测试时数据增强技术中使用的临界规则（例如置信度阈值）来过滤增强视角。相反，MTA将每个视角的质量评估变量直接融入其优化过程中，称为内在得分。这个得分与密度模式寻找过程一起进行优化，从而实现了一种高效的无需训练和调整超参数的方法。我们在15个数据集上进行了广泛的基准测试，并展示了MTA的优越性和计算效率。MTA可以轻松部署在零样本模型和最新的少样本方法之上，展示了系统和一致的改进。

    May, 2024

  • 视觉语言模型的失误机会：视觉语言模型在线测试时间适应的比较研究

    对视觉-语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

    May, 2024

  • 视觉语言模型易于执行时适应的令人沮丧的测试

    研究表明，零温度的TTA方法（ZERO）能够在只进行一次前向传播的情况下，准确性大大超过或与现有技术相当，且速度约为10倍快，内存占用约为13倍少。

    May, 2024

  • BaFTA：零样本视觉语言模型的无反向传播测试时适应

    我们提出了一种名为BaFTA的新型零样本学习算法，通过在投影嵌入空间中使用在线聚类来估计类别质心并动态地聚合预测，从而在效果和效率上持续优于最先进的测试时间自适应方法。

    Jun, 2024

  • 双原型演变用于视觉语言模型的测试时泛化

    本研究解决了现有视觉语言模型在测试时间适应中无法有效积累任务特定知识的问题。提出的双原型演变（DPE）方法采用文本和视觉原型，促进多模态表示的精准捕捉。实验结果表明，DPE在15个基准数据集上优于现有最先进的方法，并具有良好的计算效率。

    Oct, 2024

  • BoostAdapter：通过区域引导提高视觉-语言测试时适应性

    本文针对预训练视觉-语言模型在下游任务适应性不足的问题，提出了一种新颖的方法，通过区域引导和轻量级内存机制，提升测试数据的适应性。研究表明，该方法在跨域和分布外的数据集上表现出色，展现了其在实际应用中的广泛潜力。

    Oct, 2024