多模式对比学习对分布偏移的鲁棒性

Oct, 2023

多模式对比学习对分布偏移的鲁棒性

Understanding the Robustness of Multi-modal Contrastive Learning to Distribution Shift

Yihao Xue, Siddharth Joshi, Dang Nguyen, Baharan Mirzasoleiman

TL;DR通过分析多模态对比学习 (MMCL) 方法，我们揭示了其在学习鲁棒表示方面的两种机制：类内对比机制和跨类特征共享机制，这两种机制防止了训练数据中过度呈现的虚假特征对通用核心特征的影响，从而在分布偏移下实现了更优的零样本分类精度。

Abstract

Recently, multimodal contrastive learning (mmcl) approaches, such as CLIP, have achieved a remarkable success in learning representations that are robust against distribution shift and generalize to new domains.

multimodal contrastive learning mmcl intra-class contrasting inter-class feature sharing zero-shot classification accuracy

发现论文，激发创造

多模态基础模型的零样本鲁棒性基准测试：一项试点研究

基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

Mar, 2024

数据决定对比语言图像预训练（CLIP）中的分布鲁棒性

通过实验研究，我们发现对比训练语言 - 图像模型的鲁棒性提高的主要因素是训练分布的多样性，而其他因素对鲁棒性几乎没有贡献。除了我们的实验结果，我们还介绍了 ImageNet-Captions，这是带有来自 Flickr 的原始文本注释的 ImageNet 版本，以进一步进行语言 - 图像训练的受控实验。

May, 2022

稳健的跨模态表示学习与渐进式自蒸馏

通过交叉模态对比学习以及软图像 - 文本对齐等方法，改进了 CLIP 模型，在处理带有噪声的数据集时能更加高效地学习出具有鲁棒性的表示。经过对 14 个基准数据集的广泛评估，该方法在多种设置下表现均优于 CLIP，并且没有增加计算成本。此外，该方法还在自然分布偏移的鲁棒性测试中表现更好。

Apr, 2022

多模态对比学习的泛化性

本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

Jun, 2023

深入研究对比语言图像预训练（CLIP）的鲁棒性

该研究全面调查了 Contrastive Language-Image Pre-training (CLIP) 模型的安全目标，特别关注三个关键属性：对视觉因素变化的弹性，校准的不确定性估计以及检测异常输入的能力。研究揭示了 CLIP 模型的一些以前未知的见解，并强调了训练源设计的重要性及其对三个安全相关属性的深远影响。该全面研究有助于引导更加稳健可靠的 CLIP 模型的发展。

Feb, 2024

理解 CLIP 中的可迁移表征学习和零射击迁移

通过对 CLIP 的理论研究，我们证明了多模态学习的可转移表示学习，并分析了其在零样本学习和下游任务中的性能。在此基础上，我们提出了一种新的 CLIP 类型方法，在基准数据集上实现了比 CLIP 和其他最先进方法更好的性能。

Oct, 2023

CLIP 的多模态多标签分类

设计一个学习算法来处理图像和文本两个数据源，通过使用对比语言图像预训练作为特征提取器并探索不同的分类头、融合方法和损失函数来学习全面的语义特征表示，最终在公共 Kaggle 竞赛排行榜上获得超过 90% 的 F_1 分数。本文通过实验结果提供了新的训练方法和定量分析的详细描述。

Jun, 2024

多模态学习中对比损失的重要性

通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

Apr, 2023

多模态大型语言模型的样本外广义推广

通过广泛的评估工作，我们研究了当前多模态大型语言模型在超出分布情景和特定领域任务下的泛化边界。实证结果表明，多模态大型语言模型在常见训练域之外的泛化上存在困难，需要经过适应性的直接应用。我们进一步探索了上下文学习在分布偏移下的鲁棒性，并展示了它在领域偏移、标签偏移和上下文示例与测试数据之间的虚假相关偏移中的脆弱性。

Feb, 2024

CleanCLIP: 多模态对比学习中缓解数据污染攻击

介绍了一种解决多模态表征学习领域中后门攻击问题的新方法 CleanCLIP，可以帮助模型减弱后门数据带来的错误训练结果。同时，该方法可以通过对单个模态的预训练任务进行微调的方式来提高模型的鲁棒性。

Mar, 2023