最后一层重新训练足以提高对噪音相关性的鲁棒性

Apr, 2022

最后一层重新训练足以提高对噪音相关性的鲁棒性

Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations

Polina Kirichenko, Pavel Izmailov, Andrew Gordon Wilson

TL;DR通过研究表明神经网络在分类预测中往往依赖于一些简单的虚假特征，但即便如此，这些网络依然能够学习到一些与所需属性相关的核心特征。本研究通过重新训练网络中的最后一层，证明其能够在处理虚假特征方面表现出较好的性能，并能够显著降低模型复杂度和计算成本。此外，大规模的 ImageNet 训练模型上的最后一层重新训练，也可以显著提高模型对协变量转移的鲁棒性。

Abstract

neural network classifiers can largely rely on simple spurious features, such as backgrounds, to make predictions. However, even in these cases, we show that they still often learn core features associated with t

neural network classifiers spurious features last layer retraining correlation benchmarks covariate shift

发现论文，激发创造

最顶层重新训练是否足够抵御伪相关性？

通过对医学领域的真实数据进行研究，我们考察了深度特征重新加权方法（DFR）对于应用的可行性，并研究了最后一层重训练方法背后的有效性原因，结果表明 DFR 可以提高最差群体的准确性，但仍对虚假相关性敏感。

Aug, 2023

免费的假设等级：基于目标检测的简单最后一层重新训练框架

使用开放词汇物体检测技术防止深度神经网络中的虚假特征，通过排序图像并使用最高分数的子集进行最后一层训练，验证了该方法在 ImageNet-1k 数据集上的有效性。

Oct, 2023

在伪相关存在的情况下的特征学习

通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

Oct, 2022

使神经网络对多种图像污染具有鲁棒性的简单方法

该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

Jan, 2020

通过简单偏好的视角早期识别训练中的伪偏差

研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

May, 2023

基于损失重采样的无标注群组鲁棒性

训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

Dec, 2023

面向少量注释的群体鲁棒性的最后一层重新训练

通过仅使用模型选择的族群注释和少数类别注释，最后一层的重新训练可以显著提高最差群组的准确性，而无需额外的数据或注释。此外，我们还引入了一种轻量级方法，即选择性的最后一层微调（SELF），通过使用误分类或不一致性的数据构建了重新加权数据集，实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3％的保留类别注释即可与 DFR 相媲美。

Sep, 2023

复杂性的重要性：在伪相关存在的情况下的特征学习动态

我们提出了一个理论框架和相关的合成数据集，以布尔函数分析为基础，允许对虚假特征相对复杂性和与标签相关性的相对强度进行细粒度控制，以研究虚假相关下特征学习的动态。我们的设置揭示了几个有趣的现象：（1）更强的虚假相关或更简单的虚假特征会减缓核心特征的学习速率，（2）虚假特征和核心特征的学习阶段并不总是分离的，（3）即使在核心特征完全学习后，虚假特征也不会被遗忘。我们的发现证实了重新训练最后一层以消除虚假相关的成功，并且确定了利用早期学习虚假特征的常用去偏算法的局限性。我们通过针对使用具有一层隐藏层 ReLU 网络学习 XOR 特征的情况进行理论分析来支持我们的实证发现。

Mar, 2024

自引导假相关抑制学习强化分类器

在此研究中，我们提出了一种自引导的伪相关性缓解框架，它在无需标注伪相关性的情况下，自动构建了适合经验风险最小化得到的分类器的细粒度训练标签，以提高其对伪相关性的鲁棒性。通过在一种新颖的伪相关性嵌入空间中识别分类器的不同预测行为，并结合自动检测的概念属性和一种新颖的伪相关度量来构造细粒度的训练标签，我们证明了训练分类器以区分不同的预测行为可以减少其对伪相关性的依赖，而无需事先知道它们，并且在五个真实世界的数据集上优于先前的方法。

May, 2024

数据增强最后一层训练方法的理论保证

通过线性最后一层重新训练和数据增强，我们针对每个子人群将潜在表示（输入到最后一层的数据）的分布建模为高斯分布，以实现在训练数据的许多不同子人群之间确保公平预测，并达到最优的最差组准确性。我们对合成数据和大型公开数据集进行了评估和验证。

May, 2024