通过对医学领域的真实数据进行研究，我们考察了深度特征重新加权方法（DFR）对于应用的可行性，并研究了最后一层重训练方法背后的有效性原因，结果表明 DFR 可以提高最差群体的准确性，但仍对虚假相关性敏感。

Aug, 2023

训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

Dec, 2023

本文提出了自动特征重新加权 (AFR) 方法，使用加权损失重新训练模型的最后一层来减少对非目标相关的模式的依赖，并在几个视觉和自然语言分类基准测试中获得了最佳结果。

Jun, 2023

通过仅使用模型选择的族群注释和少数类别注释，最后一层的重新训练可以显著提高最差群组的准确性，而无需额外的数据或注释。此外，我们还引入了一种轻量级方法，即选择性的最后一层微调（SELF），通过使用误分类或不一致性的数据构建了重新加权数据集，实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3％的保留类别注释即可与 DFR 相媲美。

Sep, 2023

本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

Aug, 2022

我们提出了一个理论框架和相关的合成数据集，以布尔函数分析为基础，允许对虚假特征相对复杂性和与标签相关性的相对强度进行细粒度控制，以研究虚假相关下特征学习的动态。我们的设置揭示了几个有趣的现象：（1）更强的虚假相关或更简单的虚假特征会减缓核心特征的学习速率，（2）虚假特征和核心特征的学习阶段并不总是分离的，（3）即使在核心特征完全学习后，虚假特征也不会被遗忘。我们的发现证实了重新训练最后一层以消除虚假相关的成功，并且确定了利用早期学习虚假特征的常用去偏算法的局限性。我们通过针对使用具有一层隐藏层 ReLU 网络学习 XOR 特征的情况进行理论分析来支持我们的实证发现。

Mar, 2024

本论文旨在研究预训练表示中的错误相关性如何影响神经网络的预测性能，探索除去有关错误特征的方法，提出了线性自编码器训练方法来分离表示，并提出了两种有效的错特征去除方法，应用于编码并显著提高了最差组准确率。

Jun, 2023

本文旨在通过考虑在测试期间输入特征的分布发生偏移并表现出低相关性来评估现有的鲁棒特征学习方法和正则化方法的效果，比较它们与设计用于捕捉训练集中高相关特征的基线方法的差异，并在设计的 C-MNIST 数据集上进行了验证。

Oct, 2019

通过研究表明神经网络在分类预测中往往依赖于一些简单的虚假特征，但即便如此，这些网络依然能够学习到一些与所需属性相关的核心特征。本研究通过重新训练网络中的最后一层，证明其能够在处理虚假特征方面表现出较好的性能，并能够显著降低模型复杂度和计算成本。此外，大规模的 ImageNet 训练模型上的最后一层重新训练，也可以显著提高模型对协变量转移的鲁棒性。

Apr, 2022

本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

Nov, 2019