通过文本引导的多样的新颖特征合成将 CLIP 普及到未知领域

May, 2024

通过文本引导的多样的新颖特征合成将 CLIP 普及到未知领域

Generalizing CLIP to Unseen Domain via Text-Guided Diverse Novel Feature Synthesis

Siyuan Yan, Cheng Luo, Zhen Yu, Zongyuan Ge

TL;DR我们提出了一种插拔式特征增强方法，称为 LDFS（语言引导的多样特征合成），通过合成新领域特征和改进现有的 CLIP 微调策略，从未见过的领域中提高 CLIP 的泛化能力，而无需从这些领域收集数据。

Abstract

vision-language foundation models like clip have shown impressive zero-shot generalization, but finetuning on downstream datasets can cause overfitting and loss of its generalization ability on unseen domains. Al

vision-language foundation models zero-shot generalization feature augmentation clip domain generalization

发现论文，激发创造

一句话描绘千张画面：通过语言指导提炼 CLIP 进行领域泛化

通过引入视觉 - 语言模型进行知识蒸馏，本文提出了一种新的域泛化方法，称为 RISE (Regularized Invariance with Semantic Embeddings)，并通过在多个基准数据集上的实验证明其在域泛化方面的优越性。

Sep, 2023

SYNC-CLIP: 合成数据使得 CLIP 在数据有限场景下达到更好的泛化效果

通过利用 SYNthetic 数据增强 CLIP 的泛化能力，SYNC-CLIP 方法在开放词汇的情景下显著优于 PromptSRC，平均提高了 3.0% 的性能。

Dec, 2023

域对齐的 CLIP 用于少样本分类

在这项工作中，我们介绍了一种用于 CLIP 的样本高效领域适应策略，称为 Domain Aligned CLIP (DAC)，它在不对主模型进行全量微调的情况下，改进了目标分布上的内部模态对齐和跨模态对齐。通过引入一个轻量级的适配器和一个简单的框架调节类文本嵌入，DAC 提供了一个计算效率高、抗分布转移性强且不改变 CLIP 参数的少样本微调框架，在 11 个广泛使用的图像分类任务中，以 2.3% 的提升应对 16 个样本分类挑战，并在 4 个鲁棒性基准上展现出竞争性能。

Nov, 2023

ReCLIP：使用源域自适应提炼对比语言图像预训练

通过提出 ReCLIP 方法，第一个无需源数据或目标标记数据的视觉 - 语言模型领域自适应方法，该方法使用伪标签进行交叉模态自训练以减小领域间差异和错位对模型性能的影响，在 22 个图像分类基准测试中将 CLIP 的平均错误率从 30.17% 降低到 25.06%。

Aug, 2023

AD-CLIP: 利用 CLIP 在提示空间中调适领域

使用 AD-CLIP 解决图像领域适应问题，通过在 prompt 空间中提取图像风格和内容信息，采用标准的有监督对比学习和最小熵策略来对齐源领域和目标领域，同时提出跨领域风格映射网络来生成领域无关的标记，实验证明了 AD-CLIP 的有效性。

Aug, 2023

PromptSync：通过分类感知的原型对齐和判别消除视觉语言模型中的领域差距

通过分类原型对齐和提示同步来提高视觉语言模型的零样本泛化能力和处理类别不平衡问题，并在测试中取得明显优于其他方法的结果。

Apr, 2024

基于语义数据增强的距离度量学习用于领域泛化

该论文研究了如何通过采用特征空间中的隐式语义增强来提高模型的泛化性能，并将距离度量学习（DML）的额外损失函数和无限增强的交叉熵损失的 logits 作为 DML 损失的输入特征。实验表明，该方法在 Digits-DG、PACS 和 Office-Home 三个基准测试数据集上可以实现最先进的性能水平。

Aug, 2022

基于 CLIP 引导的异构和长尾数据联邦学习

采用 CLIP 指导的联合学习（CLIP2FL）方法在异构和长尾数据上进行了研究，通过使用 CLIP 模型的知识转移，构建客户端和服务器之间的桥梁，改善了客户端特征表示能力，生成联合特征以重新训练服务器模型，以减轻用户异构性和类分布不平衡问题。

Dec, 2023

语言引导的领域通用分割的简单方法

通过利用语言作为随机化的源，在语义分割网络中引入简单的框架来实现泛化。通过最小化微调、语言驱动的局部样式增强和在训练过程中混合源和增强样式的随机化三个关键要素，我们进行了大量实验，在各种泛化基准测试中取得了最先进的结果。

Nov, 2023

视觉语言模型的领域泛化鲁棒微调

在具有有限训练数据并在分布转变下无法有效推广的情况下，传统的迁移学习方法效果有限。然而，最近的基础模型在分布转变下表现出了令人印象深刻的零样本推理能力和鲁棒性。为了解决这些问题，在此提出了一种适用于流行的视觉 - 语言基础模型 CLIP 的小样本微调方法，并对具有现实分布转变的具有挑战性的基准数据集进行了评估。实验证明，在训练数据供应的各个级别上，与只有视觉的模型相比，少样本 CLIP 微调在内部分布准确性和外部分布准确性方面表现更好，这为在使用真实世界数据的小样本学习应用中采用基础模型提供了强有力的动机。

Nov, 2023