了解超出分布广义化的失效模式

Oct, 2020

Understanding the Failure Modes of Out-of-Distribution Generalization

Vaishnavh Nagarajan, Anders Andreassen, Behnam Neyshabur

TL;DR研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素，并通过理论研究和实验构建证明，认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。

Abstract

Empirical studies suggest that machine learning models often rely on features, such as the background, that may be spuriously correlated with the label only during training time, resulting in poor accuracy during test-time. In this work, we identify the fundamental factors that give ri

machine learning spurious correlation gradient descent linear classifiers neural networks

发现论文，激发创造

机器学习中的越界泛化

研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

Mar, 2021

利用生成模型理解分类器的错误

本文提出了一种使用生成模型来检测分类器失效的方法，在三种分类错误中测试了该方法的有效性，并探讨了半监督学习中不受类标签影响的适用性。

Oct, 2020

特征污染：神经网络学习不相关特征且泛化能力不佳

深度神经网络在分布变化下的泛化能力与特征污染、归纳偏差等因素相关，并非仅仅是偶然性相关。

Jun, 2024

机器学习中的虚假相关性：一项调查

机器学习系统对输入的偏倚特征（例如背景、纹理和次要对象）与相应标签之间的虚假相关性非常敏感。本综述提供了对该问题的全面回顾，以及现有最先进方法的分类体系，用于解决机器学习模型中的虚假相关性。此外，我们总结了现有的数据集、标杆和度量方法，以帮助未来的研究。综述最后讨论了该领域的最新进展和未来的研究挑战，旨在为相关领域的研究人员提供有价值的见解。

Feb, 2024

深度稳健学习 - 针对外部分布泛化

本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

Apr, 2021

在潜空间中提炼模型失败方向

本文介绍了一种自动提取模型误差模式的方法：使用线性分类器来识别一致的错误模式，并将其表示为特征空间内的方向。使用此框架，结合扩散模型，能够自动发现训练数据集中具有挑战性的子人群，进而进行数据扩充，以改善模型失效的情况。

Jun, 2022

通过鲁棒特征提取理解深度网络的故障

本文介绍并研究了一种方法，旨在通过识别导致模型失败的视觉特征，对学习模型的传统评估方法进行补充，从而更好地表现重要和有益的失败模式。作者进一步提出了一种可视化方法用于帮助人们理解这些特征的含义，并在 ImageNet 数据集上进行了评估，结果表明：这种方法是发现重要的失败模式的有效方法，可视化技术有助于人们理解提取的特征，提取的洞见可以帮助工程师进行错误分析和调试。

Dec, 2020

自然语言处理模型的泛化：概念与因果关系

探索机器学习模型泛化能力的基础，研究影响因素，尤其关注内部有效性，外部有效性和虚假相关性，并指导分析泛化失败。

Nov, 2023

通过简单偏好的视角早期识别训练中的伪偏差

研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

May, 2023

通过反事实例和梯度监督学习区分重要因素

使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

Apr, 2020