研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

May, 2023

本文旨在通过设计包含不同时简单性的多个预测特征的数据集，捕捉实际训练数据中的非鲁棒性，从理论和实证研究中发现简洁性偏见在训练神经网络中的作用及其对泛化和鲁棒性的影响，提出新算法以避免简洁性偏见的缺陷。

Jun, 2020

该研究通过严格定义和深入探究神经网络的简单性偏差，理论上和经验上均证明在解决任务时只学习低维度输入的特征，不依赖于更复杂的特征，同时提出一种基于特征的训练顺序的集成方法，能够使得模型对高斯噪声具有更强的鲁棒性。

Feb, 2023

神经网络对简单特征具有偏好，本文提出了一种鼓励模型使用多样性特征进行预测的框架，通过训练一个简单模型并对其进行条件互信息的正则化，解决了简单性偏差问题，并在各种问题设置和实际应用中显示了其有效性，提高了模型的性能以及鲁棒性和公平性。

Oct, 2023

神经网络在存在偏执特征时，能够学习到核心特征，即使简单虚假特征扭曲了预测结果；研究通过不平衡标签耦合的方法，调查了简单和复杂特征在预测中的不同水平，以及复杂特征在预测中的贡献。

Nov, 2023

我们提出了一个理论框架和相关的合成数据集，以布尔函数分析为基础，允许对虚假特征相对复杂性和与标签相关性的相对强度进行细粒度控制，以研究虚假相关下特征学习的动态。我们的设置揭示了几个有趣的现象：（1）更强的虚假相关或更简单的虚假特征会减缓核心特征的学习速率，（2）虚假特征和核心特征的学习阶段并不总是分离的，（3）即使在核心特征完全学习后，虚假特征也不会被遗忘。我们的发现证实了重新训练最后一层以消除虚假相关的成功，并且确定了利用早期学习虚假特征的常用去偏算法的局限性。我们通过针对使用具有一层隐藏层 ReLU 网络学习 XOR 特征的情况进行理论分析来支持我们的实证发现。

Mar, 2024

研究发现神经网络训练过程中存在简单性偏差，该偏差导致其缺乏鲁棒性，但该问题可通过不同方式训练来缓解，其中包括使用梯度对齐的惩罚项进行训练，以及在独立的模型选择阶段解决信息不足问题，此方法在视觉识别上获得了最佳结果。

May, 2021

本文提出一种基于对抗训练框架的 Adversarial Suppression of Identity Features (ASIF) 方法，通过抑制网络对特定实例的过拟合，提高网络针对小数据集或嘈杂标签的泛化能力。

Sep, 2022

本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高 CIFAR 和 ImageNet 数据集的泛化性能。

Mar, 2021

基于图像描述提取特征聚类的框架，发现数据集中的敏感关联性，通过调整图像采样权重减轻下游模型偏差问题。

Jan, 2024