Jun, 2024

WATT: CLIP 的权重平均测试时间适应

PDF
TL;DR本研究介绍了 Weight Average Test-Time Adaptation (WATT) 方法，通过使用多样的文本模板和文本整合策略，增强了 CLIP 模型的测试性能，提高对不同领域转变的适应能力。该方法在多个具有挑战性的数据集上取得了显著的增益，而无需额外的模型转换或可训练模块。
vision-language modelsclipweight average test-time adaptationpseudo labelstest-time strategies
发现论文，激发创造
  • CLIPArTT: 测试时基于新领域的 CLIP 轻量级适应

    通过在推理过程中自动构建文本提示并使用其作为文本监督，CLIPArTT 方法在不需要额外培训的情况下，通过独特的、最小侵入性的文本提示调优过程，使预训练视觉 - 语言模型在各种数据集和环境中动态提升性能并改善适应性。

    May, 2024

  • 视觉语言模型零样本泛化的测试时间自适应与 CLIP 奖励

    提出一种测试时反馈方法来解决视觉 - 语言模型的输出与任务目标之间的不匹配问题，以避免模型过拟合于其不正确的输出分布。具体而言，采用 CLIP 作为奖励模型，在不同的任务中，包括图像分类、图像文本检索和图像标题生成等。通过强化学习，以最大化 CLIP 奖励为目标来进行单一测试样本的训练。经过广泛实验，证明了这种测试时反馈方法可以显著提高不同的视觉 - 语言模型的结果。

    May, 2023

  • 视觉语言模型易于执行时适应的令人沮丧的测试

    研究表明，零温度的 TTA 方法（ZERO）能够在只进行一次前向传播的情况下，准确性大大超过或与现有技术相当，且速度约为 10 倍快，内存占用约为 13 倍少。

    May, 2024

  • 视觉语言模型的失误机会：视觉语言模型在线测试时间适应的比较研究

    对视觉 - 语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

    May, 2024

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • 视觉语言模型泛化的不变测试时间适应

    通过测试时间提示调整范式优化学习提示的方式，该方法在下游任务中成功地减轻了依赖于潜在具有误导性的与任务无关的上下文信息，同时强调关键的与任务相关的视觉线索。

    Mar, 2024

  • 预训练视觉 - 语言模型的高效和长尾泛化

    针对使 CLIP 适应现实世界的挑战，我们提出了一种名为 Candle 的新框架，通过引入新的损失函数、跨模态注意力和虚拟原型来实现高效、长尾泛化，该方法在 11 个不同数据集上展示出了卓越的性能，并大大减少了训练时间。

    Jun, 2024

  • 非平稳测试时间适应的逐层自动加权

    采用 Fisher 信息矩阵为基础的算法，通过引入逐层自动加权的方法，实现在不断变化的目标分布环境中的模型自适应，以减少遗忘和错误积累，并大大降低计算负载。

    Nov, 2023

  • 跨模态视觉推理的测试时分布学习适配器

    在本研究中，我们提出了一种名为 TT-DNA 的测试时分布学习适配器，通过在测试期间直接建模来自支持集的视觉特征的高斯分布，将其与原始的 CLIP 预测进行残差连接，得到最终预测。我们在人类对象交互的视觉推理方面的广泛实验结果表明，我们提出的 TT-DNA 方法在性能上明显优于现有的最先进方法。

    Mar, 2024

  • 视觉语言模型在开放环境下单张图像测试时间自适应的有效性

    我们提出了一个创新框架，用于在开放和动态环境中解决单图测试时间适应的现实挑战。我们利用大规模视觉语言模型（如 CLIP）在没有源数据或准确标签的情况下，实现了对每个图像的实时自适应。我们首先使用一个简单而有效的 OOD（外分布）检测模块区分弱 OOD 样本和强 OOD 样本，以应对部署模型可能遇到的未知类别。通过利用小而动态更新的特征库，我们提出了一种基于对比学习的目标函数，增强了弱 OOD 样本和强 OOD 样本之间的可区分性。最后，我们还使用可靠的弱 OOD 样本来实现模型的分类自适应。提出的 ROSITA 框架将这些组件结合起来，实现了视觉语言模型的连续在线自适应，且适用于单个图像。通过对不同领域自适应基准的广泛实验，验证了该框架的有效性。我们的代码可以在项目网址中找到（链接已省略）。

    Jun, 2024