Sep, 2023

面向少量注释的群体鲁棒性的最后一层重新训练

PDF
TL;DR通过仅使用模型选择的族群注释和少数类别注释，最后一层的重新训练可以显著提高最差群组的准确性，而无需额外的数据或注释。此外，我们还引入了一种轻量级方法，即选择性的最后一层微调（SELF），通过使用误分类或不一致性的数据构建了重新加权数据集，实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3％的保留类别注释即可与 DFR 相媲美。
发现论文，激发创造
  • 基于损失重采样的无标注群组鲁棒性

    训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

    Dec, 2023

  • 最顶层重新训练是否足够抵御伪相关性？

    通过对医学领域的真实数据进行研究，我们考察了深度特征重新加权方法（DFR）对于应用的可行性，并研究了最后一层重训练方法背后的有效性原因，结果表明 DFR 可以提高最差群体的准确性，但仍对虚假相关性敏感。

    Aug, 2023

  • 在伪相关存在的情况下的特征学习

    通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

    Oct, 2022

  • 利用神经特征获得增强的组鲁棒性

    本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

    Aug, 2022

  • 自动特征重新加权的简单快速群体鲁棒性

    本文提出了自动特征重新加权 (AFR) 方法，使用加权损失重新训练模型的最后一层来减少对非目标相关的模式的依赖，并在几个视觉和自然语言分类基准测试中获得了最佳结果。

    Jun, 2023

  • 只需要训练两次：在没有训练组信息的情况下提高团体鲁棒性

    本文提出了 JTT 这样一个简单的两阶段方法，利用加重权重的方式提高标准 ERM 模型对于性能低下群组的准确性，从而填补了标准 ERM 模型与 group DRO 之间最差群组准确性差距的 75％，并且只需要在小型验证集上标注群体注释以调整超参数。

    Jul, 2021

  • 无任何群组信息的群组鲁棒分类

    这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

    Oct, 2023

  • 领域不可知公平修正的标签噪声鲁棒性：最近邻标签传播

    在最后一层重新训练中，我们提出了一种针对标签噪音的快速修正方法，通过在潜在最近邻图上进行标签传播，实现了在广泛数据集上对称标签噪音下最差群体准确性的最先进水平。

    Jun, 2024

  • 最后一层重新训练足以提高对噪音相关性的鲁棒性

    通过研究表明神经网络在分类预测中往往依赖于一些简单的虚假特征，但即便如此，这些网络依然能够学习到一些与所需属性相关的核心特征。本研究通过重新训练网络中的最后一层，证明其能够在处理虚假特征方面表现出较好的性能，并能够显著降低模型复杂度和计算成本。此外，大规模的 ImageNet 训练模型上的最后一层重新训练，也可以显著提高模型对协变量转移的鲁棒性。

    Apr, 2022

  • 数据增强最后一层训练方法的理论保证

    通过线性最后一层重新训练和数据增强，我们针对每个子人群将潜在表示（输入到最后一层的数据）的分布建模为高斯分布，以实现在训练数据的许多不同子人群之间确保公平预测，并达到最优的最差组准确性。我们对合成数据和大型公开数据集进行了评估和验证。

    May, 2024