Apr, 2023

多模态模型微调中减少虚假相关性的影响

PDF
TL;DR该论文提出了一种利用多模态模型中的不同模态来检测和明确区分有影响的类别中的虚假属性的方法，通过表达语言来体现虚假关系的多模态对比损失函数，在 CLIP 上实验结果表明，这种干预可以有效地提高模型的准确性。
spurious correlationsmodel generalizationmulti-modal modelscontrastive loss functionfine-tuning
发现论文，激发创造
  • 多模态表示的校准：无需标注的群体稳健性追求

    探索在不使用任何组标注的情况下减轻 CLIP 对虚假特征依赖的方法，通过基于对比学习的轻量级表示校准方法对预训练 CLIP 进行微调，从而显著减少依赖并大大提升模型的泛化能力。

    Mar, 2024

  • 通过数据混合消除预先训练模型中的虚假相关性

    本研究介绍了一种简单有效的方法来消除预先训练的机器学习模型中存在的伪相关性，该方法通过数据混合平衡所有类别中的伪属性，并在多种视觉和 NLP 任务中获得了最先进的表现。

    May, 2023

  • CleanCLIP: 多模态对比学习中缓解数据污染攻击

    介绍了一种解决多模态表征学习领域中后门攻击问题的新方法 CleanCLIP，可以帮助模型减弱后门数据带来的错误训练结果。同时，该方法可以通过对单个模态的预训练任务进行微调的方式来提高模型的鲁棒性。

    Mar, 2023

  • 使用预训练语言模型研究对噪声相关性的鲁棒性

    本文通过研究发现，预先训练的语言模型可以通过从少量反例中进行泛化来提高对数据中偶然现象的鲁棒性。当这些少数情况很少时，预训练模型表现与从头开始训练的模型一样差。在极端的少数情况下，我们提出使用多任务学习（MTL）来提高泛化能力。我们在自然语言推断和释义识别上的实验表明，MTL 可显着提高在具有挑战性的情况下的性能，而不会影响分布内性能。此外，我们表明，MTL 带来的增益主要是从极少数情况的改善泛化能力中获得的。我们的结果突显了克服偶然相关性的数据多样性的重要性。

    Jul, 2020

  • 针对学习鲁棒分类器的伪装感知元学习

    通过元学习训练图像分类器以减少对伪相关性的依赖，以实现对伪相关性的鲁棒性，同时在不知道先验信息的情况下获得了五个基准数据集上最好的鲁棒性。

    Jun, 2024

  • 自引导假相关抑制学习强化分类器

    在此研究中，我们提出了一种自引导的伪相关性缓解框架，它在无需标注伪相关性的情况下，自动构建了适合经验风险最小化得到的分类器的细粒度训练标签，以提高其对伪相关性的鲁棒性。通过在一种新颖的伪相关性嵌入空间中识别分类器的不同预测行为，并结合自动检测的概念属性和一种新颖的伪相关度量来构造细粒度的训练标签，我们证明了训练分类器以区分不同的预测行为可以减少其对伪相关性的依赖，而无需事先知道它们，并且在五个真实世界的数据集上优于先前的方法。

    May, 2024

  • 通过少样本 CLIP 辅助扩散生成来识别和减轻模型失效

    这项研究通过结合大型语言模型（ChatGPT）和视觉语言深度模型（CLIP），提出了一种利用生成文本描述模型失效模式的端到端框架，以提高对稀有背景等失败情景的性能。通过生成合成数据，以此学习模型的不足，并在不同数据类别的罕见背景上增强性能，该方法在多个模型和数据集上实现了显著的准确度提升（约 21%）。

    Dec, 2023

  • 多模式对比学习对分布偏移的鲁棒性

    通过分析多模态对比学习 (MMCL) 方法，我们揭示了其在学习鲁棒表示方面的两种机制：类内对比机制和跨类特征共享机制，这两种机制防止了训练数据中过度呈现的虚假特征对通用核心特征的影响，从而在分布偏移下实现了更优的零样本分类精度。

    Oct, 2023

  • 在伪相关存在的情况下的特征学习

    通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

    Oct, 2022

  • 跨模态检索中的伪相关性检测与缓解

    本论文提出了 ODmAP@k 指标来衡量训练数据中微小对象的相关性对于跨模态检索模型的影响，并使用自动图像和文本操作来控制这种对象相关性。通过精心设计的综合数据和微调器来应对模型偏见，提高了图像 - 文本检索框架的性能表现。

    Apr, 2023