Aug, 2023

基于数据预算的分布鲁棒分类

PDF
TL;DR在数据有限的情况下，我们通过在图像分类中使用损失函数为交叉熵的标准 ResNet-50 模型在 240 万图像样本上进行训练，展示出与训练了 4 亿个样本的 CLIP ResNet-50 模型相媲美的分布鲁棒性的结果。这是我们所知的首个在有限数据预算上展示出（接近）当前最先进的分布鲁棒性的研究成果。
deep learningdistribution shiftsrobust learnerslimited dataimage classification
发现论文，激发创造
  • 数据决定对比语言图像预训练（CLIP）中的分布鲁棒性

    通过实验研究，我们发现对比训练语言 - 图像模型的鲁棒性提高的主要因素是训练分布的多样性，而其他因素对鲁棒性几乎没有贡献。除了我们的实验结果，我们还介绍了 ImageNet-Captions，这是带有来自 Flickr 的原始文本注释的 ImageNet 版本，以进一步进行语言 - 图像训练的受控实验。

    May, 2022

  • 深入研究对比语言图像预训练（CLIP）的鲁棒性

    该研究全面调查了 Contrastive Language-Image Pre-training (CLIP) 模型的安全目标，特别关注三个关键属性：对视觉因素变化的弹性，校准的不确定性估计以及检测异常输入的能力。研究揭示了 CLIP 模型的一些以前未知的见解，并强调了训练源设计的重要性及其对三个安全相关属性的深远影响。该全面研究有助于引导更加稳健可靠的 CLIP 模型的发展。

    Feb, 2024

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 多模态基础模型的零样本鲁棒性基准测试：一项试点研究

    基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

    Mar, 2024

  • 多模式对比学习对分布偏移的鲁棒性

    通过分析多模态对比学习 (MMCL) 方法，我们揭示了其在学习鲁棒表示方面的两种机制：类内对比机制和跨类特征共享机制，这两种机制防止了训练数据中过度呈现的虚假特征对通用核心特征的影响，从而在分布偏移下实现了更优的零样本分类精度。

    Oct, 2023

  • 对于分布转移下的对抗鲁棒性的通用性

    本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

    Sep, 2022

  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

    Oct, 2021

  • 高效对比语言 - 图像预训练：数据质量优先于数量

    我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高 Contrastive Language-Image Pre-training 模型的泛化性能，并在 ConceptualCaptions3M 和 ConceptualCaptions12M 上进行的实验证明，我们的子集相比其他基线方法，可在 ImageNet 和其变体上实现超过 2.7 倍和 1.4 倍的准确度，同时，在 11 个下游数据集中平均准确度达到其他基线方法的 1.5 倍。

    Mar, 2024

  • 基于 Transfer CLIP 的通用图像去噪

    本文提出了一种利用 CLIP 模型来提高图像去噪的对称编码器 - 解码器网络，并通过渐进特征增强策略来改善解码器的鲁棒性，实验证明该方法具有优越的泛化能力。

    Mar, 2024

  • 数据集设计与 CLIP 鲁棒性之间的交互作用：质量胜过数量

    探究六种公开数据来源 ——YFCC、LAION、Conceptual Captions、WIT、RedCaps、Shutterstock—— 对 CLIP 进行预训练的分布移位是否会对性能产生影响，发现不同的预训练数据表现相差很大，并且多个数据源的组合并不一定产生更好的模型，提出从理论和实践两方面着手进行数据集设计以实现稳健一般化训练的需求。

    Aug, 2022