May, 2022

数据决定对比语言图像预训练（CLIP）中的分布鲁棒性

PDF
TL;DR通过实验研究，我们发现对比训练语言 - 图像模型的鲁棒性提高的主要因素是训练分布的多样性，而其他因素对鲁棒性几乎没有贡献。除了我们的实验结果，我们还介绍了 ImageNet-Captions，这是带有来自 Flickr 的原始文本注释的 ImageNet 版本，以进一步进行语言 - 图像训练的受控实验。
contrastively trained language-image modelsrobustness gainstraining distributionexperimental investigationimagenet-captions
发现论文，激发创造
  • 深入研究对比语言图像预训练（CLIP）的鲁棒性

    该研究全面调查了 Contrastive Language-Image Pre-training (CLIP) 模型的安全目标，特别关注三个关键属性：对视觉因素变化的弹性，校准的不确定性估计以及检测异常输入的能力。研究揭示了 CLIP 模型的一些以前未知的见解，并强调了训练源设计的重要性及其对三个安全相关属性的深远影响。该全面研究有助于引导更加稳健可靠的 CLIP 模型的发展。

    Feb, 2024

  • 民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

    Mar, 2022

  • 多模式对比学习对分布偏移的鲁棒性

    通过分析多模态对比学习 (MMCL) 方法，我们揭示了其在学习鲁棒表示方面的两种机制：类内对比机制和跨类特征共享机制，这两种机制防止了训练数据中过度呈现的虚假特征对通用核心特征的影响，从而在分布偏移下实现了更优的零样本分类精度。

    Oct, 2023

  • 高效对比语言 - 图像预训练：数据质量优先于数量

    我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高 Contrastive Language-Image Pre-training 模型的泛化性能，并在 ConceptualCaptions3M 和 ConceptualCaptions12M 上进行的实验证明，我们的子集相比其他基线方法，可在 ImageNet 和其变体上实现超过 2.7 倍和 1.4 倍的准确度，同时，在 11 个下游数据集中平均准确度达到其他基线方法的 1.5 倍。

    Mar, 2024

  • 使用知识蒸馏和自训练提高 CLIP 的鲁棒性

    利用 LP-CLIP 技术通过引入一个线性探测层来提高 CLIP 的鲁棒性，该技术利用 CLIP 生成的伪标签以及自训练策略进行训练，无需注释数据，能够增强模型在真实场景中应对多种不确定性和挑战的能力，并在各种数据集上实现了 SOTA 结果

    Sep, 2023

  • 基于数据预算的分布鲁棒分类

    在数据有限的情况下，我们通过在图像分类中使用损失函数为交叉熵的标准 ResNet-50 模型在 240 万图像样本上进行训练，展示出与训练了 4 亿个样本的 CLIP ResNet-50 模型相媲美的分布鲁棒性的结果。这是我们所知的首个在有限数据预算上展示出（接近）当前最先进的分布鲁棒性的研究成果。

    Aug, 2023

  • 数据集设计与 CLIP 鲁棒性之间的交互作用：质量胜过数量

    探究六种公开数据来源 ——YFCC、LAION、Conceptual Captions、WIT、RedCaps、Shutterstock—— 对 CLIP 进行预训练的分布移位是否会对性能产生影响，发现不同的预训练数据表现相差很大，并且多个数据源的组合并不一定产生更好的模型，提出从理论和实践两方面着手进行数据集设计以实现稳健一般化训练的需求。

    Aug, 2022

  • CLAP：对预先训练的视觉语言模型鲁棒性的增强提示对比学习

    通过文本增强方法，不需要在对抗性示例上重新训练图像编码器，从而增强视觉 - 语言模型的稳健性，并且实验证明了在各种数据集上对预训练的 CLIP 模型的稳健性有显著改善。

    Nov, 2023

  • 多模态基础模型的零样本鲁棒性基准测试：一项试点研究

    基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

    Mar, 2024

  • 对抗攻击下的稳健对比语言 - 图像预训练

    本文提出了 RoCLIP 方法，通过与一组随机示例进行比较来有效地断开损坏图像 - 字幕对之间的关联，从而实现对 CLIP 多模态模型的强化预训练和微调，有效降低目标数据污染和后门攻击的成功率，并提高模型性能。

    Mar, 2023