Correct-N-Contrast: 一种用于提高对伪相关性的鲁棒性的对比方法

Mar, 2022

Correct-N-Contrast: 一种用于提高对伪相关性的鲁棒性的对比方法

Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations

Michael Zhang, Nimit S. Sohoni, Hongyang R. Zhang, Chelsea Finn, Christopher Ré

TL;DR提出了一种无需训练预料特征标签的对抗学习方法 Contrast-Correction (CNC)，用于改善机器学习中因虚假相关性而导致的误差，通过新引入的表示对齐损失和最差组误差之间的对应关系，CNC 在有些基准数据集上表现优于其他方法。

Abstract

Spurious correlations pose a major challenge for robust machine learning. Models trained with empirical risk minimization (ERM) may learn to rely on correlations between class labels and spurious attributes, leading to poor performance on data groups without these correlations. This is

spurious correlation machine learning contrastive learning representation alignment loss worst-group error

发现论文，激发创造

提升虚假相关下的群体鲁棒性需要更精准的群体推理

通过准确推断群体标签，以改善最差群体性能，我们提出了一种新方法 GIC，它通过基于两个关键属性的虚假相关性对其进行分类器训练，多个数据集上的实证研究证明了 GIC 推断群体标签的有效性，并将其与多种下游不变性学习方法结合，提高了最差群体准确性，展示了其强大的灵活性。此外，通过分析 GIC 中的误分类，我们还发现了称为语义一致性的有趣现象，可能有助于解耦虚假属性与标签之间的关联，从而减轻虚假相关性。

Apr, 2024

利用神经特征获得增强的组鲁棒性

本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

Aug, 2022

通过逻辑斯蒂回归校正避免伪相关性

本文提出了一种简单而有效的方法 —— 修正逻辑损失，旨在解决当大多数训练数据中存在潜在的虚假相关性时，基于经验风险最小化 (ERM) 训练的机器学习模型在推理时出现性能下降的问题，将最小化修正逻辑损失等同于最大化组平衡准确性，可以缓解虚假相关性的负面影响。实验证明，该方法在多个基准测试平台上的表现优异，平均提高了 5.5％的绝对精度，无需访问虚假属性标签。

Dec, 2022

无任何群组信息的群组鲁棒分类

这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

Oct, 2023

自引导假相关抑制学习强化分类器

在此研究中，我们提出了一种自引导的伪相关性缓解框架，它在无需标注伪相关性的情况下，自动构建了适合经验风险最小化得到的分类器的细粒度训练标签，以提高其对伪相关性的鲁棒性。通过在一种新颖的伪相关性嵌入空间中识别分类器的不同预测行为，并结合自动检测的概念属性和一种新颖的伪相关度量来构造细粒度的训练标签，我们证明了训练分类器以区分不同的预测行为可以减少其对伪相关性的依赖，而无需事先知道它们，并且在五个真实世界的数据集上优于先前的方法。

May, 2024

在伪相关存在的情况下的特征学习

通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

Oct, 2022

分解与组合：缓解假相关性的一种组合方法

通过将图像的组成元素进行组合，基于经验风险最小化 (Empirical Risk Minimization, ERM) 的训练方法在处理分布偏移时提高了模型的鲁棒性，解决了图像分类中的接近问题和图像成分之间的虚假相关性，提出了一种新的组平衡方法，无需组标签或虚假特征信息，并在相关偏移的情况下具有更好的最差组准确性。

Feb, 2024

多模态模型微调中减少虚假相关性的影响

该论文提出了一种利用多模态模型中的不同模态来检测和明确区分有影响的类别中的虚假属性的方法，通过表达语言来体现虚假关系的多模态对比损失函数，在 CLIP 上实验结果表明，这种干预可以有效地提高模型的准确性。

Apr, 2023

只需要训练两次：在没有训练组信息的情况下提高团体鲁棒性

本文提出了 JTT 这样一个简单的两阶段方法，利用加重权重的方式提高标准 ERM 模型对于性能低下群组的准确性，从而填补了标准 ERM 模型与 group DRO 之间最差群组准确性差距的 75％，并且只需要在小型验证集上标注群体注释以调整超参数。

Jul, 2021

基于损失重采样的无标注群组鲁棒性

训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

Dec, 2023