CLIPArTT: 测试时基于新领域的 CLIP 轻量级适应

May, 2024

CLIPArTT: 测试时基于新领域的 CLIP 轻量级适应

CLIPArTT: Light-weight Adaptation of CLIP to New Domains at Test Time

Gustavo Adolfo Vargas Hakim, David Osowiechi, Mehrdad Noori, Milad Cheraghalikhani, Ali Bahri...

TL;DR通过在推理过程中自动构建文本提示并使用其作为文本监督，CLIPArTT 方法在不需要额外培训的情况下，通过独特的、最小侵入性的文本提示调优过程，使预训练视觉 - 语言模型在各种数据集和环境中动态提升性能并改善适应性。

Abstract

pre-trained vision-language models (VLMs), exemplified by clip, demonstrate remarkable adaptability across zero-shot classification tasks without additional training. However, their performance diminishes in the

pre-trained vision-language models clip test-time adaptation text prompts construction tta benchmarks

发现论文，激发创造

WATT: CLIP 的权重平均测试时间适应

本研究介绍了 Weight Average Test-Time Adaptation (WATT) 方法，通过使用多样的文本模板和文本整合策略，增强了 CLIP 模型的测试性能，提高对不同领域转变的适应能力。该方法在多个具有挑战性的数据集上取得了显著的增益，而无需额外的模型转换或可训练模块。

Jun, 2024

视觉语言模型零样本泛化的测试时间自适应与 CLIP 奖励

提出一种测试时反馈方法来解决视觉 - 语言模型的输出与任务目标之间的不匹配问题，以避免模型过拟合于其不正确的输出分布。具体而言，采用 CLIP 作为奖励模型，在不同的任务中，包括图像分类、图像文本检索和图像标题生成等。通过强化学习，以最大化 CLIP 奖励为目标来进行单一测试样本的训练。经过广泛实验，证明了这种测试时反馈方法可以显著提高不同的视觉 - 语言模型的结果。

May, 2023

AnoVL：面向统一零样本异常定位的视觉语言模型适应

使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

Aug, 2023

ReCLIP：使用源域自适应提炼对比语言图像预训练

通过提出 ReCLIP 方法，第一个无需源数据或目标标记数据的视觉 - 语言模型领域自适应方法，该方法使用伪标签进行交叉模态自训练以减小领域间差异和错位对模型性能的影响，在 22 个图像分类基准测试中将 CLIP 的平均错误率从 30.17% 降低到 25.06%。

Aug, 2023

CLIP-TD：针对视觉语言任务的 CLIP 目标蒸馏

本研究提出了一项名为 CLIP-TD 的方法，对视觉 - 语言任务进行有针对性的蒸馏，以适应每个实例自适应选择的标记。经过实验证明，我们的 CLIP-TD 在视觉常识推理，视觉蕴涵推理和视觉问答的低量数据和领域迁移条件下获得了显着的增益，并在这些任务上取得了最先进的性能。

Jan, 2022

视觉语言模型泛化的不变测试时间适应

通过测试时间提示调整范式优化学习提示的方式，该方法在下游任务中成功地减轻了依赖于潜在具有误导性的与任务无关的上下文信息，同时强调关键的与任务相关的视觉线索。

Mar, 2024

视觉语言模型的失误机会：视觉语言模型在线测试时间适应的比较研究

对视觉 - 语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

May, 2024

Tip-Adapter: 无需训练的适应 CLIP 用于少样本分类

本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择。实验证明，Tip-Adapter 在 11 个数据集上均有突出表现，并可以通过少量的模型微调达到 ImageNet 上的最优。

Jul, 2022

TAP：针对视觉分类任务自适应生成文本训练实例的有针对性提示

在此研究中，我们研究了一种基于文本的视觉与语言模型训练方法，并探索了如何根据下游任务的特点从大型语言模型中采样文本数据，以显著提升视觉识别性能。与先前方法相比，我们展示了达 (交) 领域特定适应的性能提高达 8.4％，精细化识别提高达 8.7％，零标记分类整体平均提高达 3.1％。

Sep, 2023

提升人工智能生成图像检测的水平与 CLIP

本研究旨在探索预训练视觉 - 语言模型（VLMs）在人工智能生成图像的普适检测中的潜力。我们基于 CLIP 特征开发了一种轻量级检测策略，并研究其在各种具有挑战性的场景下的性能。我们发现，与以往的观点不同，并不需要使用大量特定领域的数据集进行训练是必要且方便的。相反，通过仅利用来自单个生成模型的少量示例图像，基于 CLIP 的检测器展现出了出乎意料的泛化能力，并且在包括 Dalle-3、Midjourney v5 和 Firefly 在内的最新商业工具中具有高鲁棒性。我们在分布内数据上与 SoTA 相匹配，并在分布外数据的泛化能力（AUC 提高 6%）和受损 / 清洗数据的鲁棒性上实现了显著的改进（+ 13％）。我们的项目可以在此 https URL 找到。

Nov, 2023