通过数据混合消除预先训练模型中的虚假相关性

May, 2023

通过数据混合消除预先训练模型中的虚假相关性

Eliminating Spurious Correlations from Pre-trained Models via Data Mixing

Yihao Xue, Ali Payani, Yu Yang, Baharan Mirzasoleiman

TL;DR本研究介绍了一种简单有效的方法来消除预先训练的机器学习模型中存在的伪相关性，该方法通过数据混合平衡所有类别中的伪属性，并在多种视觉和 NLP 任务中获得了最先进的表现。

Abstract

machine learning models pre-trained on large datasets have achieved remarkable convergence and robustness properties. However, these models often exploit spurious correlations between certain attributes and label

machine learning spurious correlations data mixing pre-trained models nlp tasks

发现论文，激发创造

多模态模型微调中减少虚假相关性的影响

该论文提出了一种利用多模态模型中的不同模态来检测和明确区分有影响的类别中的虚假属性的方法，通过表达语言来体现虚假关系的多模态对比损失函数，在 CLIP 上实验结果表明，这种干预可以有效地提高模型的准确性。

Apr, 2023

使用预训练语言模型研究对噪声相关性的鲁棒性

本文通过研究发现，预先训练的语言模型可以通过从少量反例中进行泛化来提高对数据中偶然现象的鲁棒性。当这些少数情况很少时，预训练模型表现与从头开始训练的模型一样差。在极端的少数情况下，我们提出使用多任务学习（MTL）来提高泛化能力。我们在自然语言推断和释义识别上的实验表明，MTL 可显着提高在具有挑战性的情况下的性能，而不会影响分布内性能。此外，我们表明，MTL 带来的增益主要是从极少数情况的改善泛化能力中获得的。我们的结果突显了克服偶然相关性的数据多样性的重要性。

Jul, 2020

自引导假相关抑制学习强化分类器

在此研究中，我们提出了一种自引导的伪相关性缓解框架，它在无需标注伪相关性的情况下，自动构建了适合经验风险最小化得到的分类器的细粒度训练标签，以提高其对伪相关性的鲁棒性。通过在一种新颖的伪相关性嵌入空间中识别分类器的不同预测行为，并结合自动检测的概念属性和一种新颖的伪相关度量来构造细粒度的训练标签，我们证明了训练分类器以区分不同的预测行为可以减少其对伪相关性的依赖，而无需事先知道它们，并且在五个真实世界的数据集上优于先前的方法。

May, 2024

数据集平衡的局限性：对抗虚假相关的失败战役

本观点文章指出，解决数据集平衡问题的常见方法已经不足以避免深度学习模型对小规模数据和特定标签的依赖和过拟合问题。我们提出了多种替代方法，包括增强数据集上下文语境，使用少量样本训练模型，通过与用户交互的方式进行模型推理等。

Apr, 2022

识别和缓解虚假关联，提高自然语言处理模型的鲁棒性

本研究提出了一种方法，利用解释性方法从文本中提取影响模型决策过程的标记，分析模型在多个语料库上的预测并进一步通过知识感知扰动来区分 ' 真正 ' 的标记和 ' 虚假 ' 标记，有效地识别出一组 ' 捷径 '，从而实现在多个应用中的更加鲁棒的模型。

Oct, 2021

因果效应正则化：自动检测和去除假冒属性

本文提出了一种方法，通过估计标签对因果效应的影响来自动识别虚假属性，并使用正则化目标来减轻分类器对它们的依赖性，优于先前方法，特别是在虚假相关性高的情况下，并在噪声影响下缓解了对虚假属性的依赖。

Jun, 2023

针对学习鲁棒分类器的伪装感知元学习

通过元学习训练图像分类器以减少对伪相关性的依赖，以实现对伪相关性的鲁棒性，同时在不知道先验信息的情况下获得了五个基准数据集上最好的鲁棒性。

Jun, 2024

使用可遗忘例子提高对伪相关性的鲁棒性

本文提出使用遗忘例子的方法来筛选掉数据集中存在的虚假相关性并找出少数反例，然后通过将模型分别在全部数据和少数数据上微调来提高模型的越域泛化能力。

Nov, 2019

预先训练的图像表示中伪特征的鉴别和分离

本论文旨在研究预训练表示中的错误相关性如何影响神经网络的预测性能，探索除去有关错误特征的方法，提出了线性自编码器训练方法来分离表示，并提出了两种有效的错特征去除方法，应用于编码并显著提高了最差组准确率。

Jun, 2023

机器学习中的虚假相关性：一项调查

机器学习系统对输入的偏倚特征（例如背景、纹理和次要对象）与相应标签之间的虚假相关性非常敏感。本综述提供了对该问题的全面回顾，以及现有最先进方法的分类体系，用于解决机器学习模型中的虚假相关性。此外，我们总结了现有的数据集、标杆和度量方法，以帮助未来的研究。综述最后讨论了该领域的最新进展和未来的研究挑战，旨在为相关领域的研究人员提供有价值的见解。

Feb, 2024