预训练模型引导的零样本对抗鲁棒性微调

Jan, 2024

预训练模型引导的零样本对抗鲁棒性微调

Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness

Sibo Wang, Jie Zhang, Zheng Yuan, Shiguang Shan

TL;DR本研究提出了预训练模型引导的对抗微调（PMG-AFT）方法，通过精心设计辅助分支，利用原始预训练模型的监督来增强模型的零样本对抗鲁棒性。对 15 个零样本数据集进行的广泛实验证明，PMG-AFT 在顶部 1 的抗干扰准确性方面显著优于最先进的方法，平均提高了 4.99%。此外，我们的方法还能持续改善干净准确性，平均提高了 8.72%。

Abstract

Large-scale pre-trained vision-language models like clip have demonstrated impressive performance across various tasks, and exhibit remarkable zero-shot generalization capability, while they are also vulnerable t

vision-language models clip adversarial examples pre-trained model adversarial robustness

发现论文，激发创造

对敌对提示调整的鲁棒泛化问题的重新审视

通过多模态提示学习来提高图像和文本特征的对齐度，利用预训练的 CLIP 强大的泛化能力，引导模型在对抗性示例上增强鲁棒泛化能力，同时在干净示例上保持准确性。

May, 2024

强大的 CLIP：用于强大的大规模视觉 - 语言模型的无监督对抗微调的视觉嵌入

我们提出了一种无监督的对抗微调方案来获得强大的 CLIP 视觉编码器，从而在依赖于 CLIP 的所有视觉下游任务（VLM，零样本分类）中获得强大的鲁棒性。

Feb, 2024

学习面具感知 CLIP 表示以进行零样本分割

提出了一种名为 Mask-aware Fine-tuning (MAFT) 的简单而有效方法，通过使用 Image-Proposals CLIP Encoder (IP-CLIP Encoder) 和相应的损失函数来改善预训练模型 CLIP 对不同掩码提议的敏感性，以解决零样本分割任务中存在的虚假阳性问题。在常见的零样本基准测试中，该方法在未见过的类别上大幅提升了最先进方法的性能。

Sep, 2023

Lipsum-FT：使用随机文本引导的零样本模型健壮微调

大规模对比视觉 - 语言预训练模型提供了零样本模型，其可在一系列图像分类任务中取得竞争性的表现，而无需在下游数据上进行训练。最近的研究表明，对零样本模型的额外微调可以提高下游的性能，但会削弱模型对分布变化的鲁棒性。本文通过研究基于特征失真理论和联合能量模型的鲁棒微调条件，并提出一种新的鲁棒微调算法 Lipsum-FT，该算法有效地利用视觉 - 语言预训练模型中的语言建模特性。在 DomainNet 和 ImageNet 的分布变化场景上进行的大量实验实证了我们提出的 Lipsum-FT 方法优于现有的鲁棒微调方法。

Apr, 2024

多模态基础模型的零样本鲁棒性基准测试：一项试点研究

基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

Mar, 2024

对抗攻击下的稳健对比语言 - 图像预训练

本文提出了 RoCLIP 方法，通过与一组随机示例进行比较来有效地断开损坏图像 - 字幕对之间的关联，从而实现对 CLIP 多模态模型的强化预训练和微调，有效降低目标数据污染和后门攻击的成功率，并提高模型性能。

Mar, 2023

视觉语言模型的领域泛化鲁棒微调

在具有有限训练数据并在分布转变下无法有效推广的情况下，传统的迁移学习方法效果有限。然而，最近的基础模型在分布转变下表现出了令人印象深刻的零样本推理能力和鲁棒性。为了解决这些问题，在此提出了一种适用于流行的视觉 - 语言基础模型 CLIP 的小样本微调方法，并对具有现实分布转变的具有挑战性的基准数据集进行了评估。实验证明，在训练数据供应的各个级别上，与只有视觉的模型相比，少样本 CLIP 微调在内部分布准确性和外部分布准确性方面表现更好，这为在使用真实世界数据的小样本学习应用中采用基础模型提供了强有力的动机。

Nov, 2023

基于锚点的视觉语言模型的鲁棒微调

我们提出了一种补偿微调过程的方法，利用具有丰富语义信息的辅助监督作为锚点来保留原始的 CLIP 特征空间，从而保持了 OOD 泛化性能，并在领域迁移和零样本学习基准上取得了新的最先进结果。

Apr, 2024

BaFTA：零样本视觉语言模型的无反向传播测试时适应

我们提出了一种名为 BaFTA 的新型零样本学习算法，通过在投影嵌入空间中使用在线聚类来估计类别质心并动态地聚合预测，从而在效果和效率上持续优于最先进的测试时间自适应方法。

Jun, 2024

AnoVL：面向统一零样本异常定位的视觉语言模型适应

使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

Aug, 2023