ECCVAug, 2022

利用神经特征获得增强的组鲁棒性

PDF
TL;DR本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。
machine learningspurious correlationrobust optimizationgroup annotationgram matrices
发现论文，激发创造
  • 无任何群组信息的群组鲁棒分类

    这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

    Oct, 2023

  • 只需要训练两次：在没有训练组信息的情况下提高团体鲁棒性

    本文提出了 JTT 这样一个简单的两阶段方法，利用加重权重的方式提高标准 ERM 模型对于性能低下群组的准确性，从而填补了标准 ERM 模型与 group DRO 之间最差群组准确性差距的 75％，并且只需要在小型验证集上标注群体注释以调整超参数。

    Jul, 2021

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 在部分群标签存在的情况下实现群体鲁棒性

    提出一种利用部分敏感信息训练深度神经网络并改善少数群体预测性能的方法。

    Jan, 2022

  • 基于损失重采样的无标注群组鲁棒性

    训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

    Dec, 2023

  • 在伪相关存在的情况下的特征学习

    通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

    Oct, 2022

  • 面向少量注释的群体鲁棒性的最后一层重新训练

    通过仅使用模型选择的族群注释和少数类别注释，最后一层的重新训练可以显著提高最差群组的准确性，而无需额外的数据或注释。此外，我们还引入了一种轻量级方法，即选择性的最后一层微调（SELF），通过使用误分类或不一致性的数据构建了重新加权数据集，实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3％的保留类别注释即可与 DFR 相媲美。

    Sep, 2023

  • 提升虚假相关下的群体鲁棒性需要更精准的群体推理

    通过准确推断群体标签，以改善最差群体性能，我们提出了一种新方法 GIC，它通过基于两个关键属性的虚假相关性对其进行分类器训练，多个数据集上的实证研究证明了 GIC 推断群体标签的有效性，并将其与多种下游不变性学习方法结合，提高了最差群体准确性，展示了其强大的灵活性。此外，通过分析 GIC 中的误分类，我们还发现了称为语义一致性的有趣现象，可能有助于解耦虚假属性与标签之间的关联，从而减轻虚假相关性。

    Apr, 2024

  • 具有概率群的分布鲁棒优化

    本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

    Mar, 2023

  • 面向现实世界的定制健壮性通用框架：基于群体的健壮性

    本文旨在通过定义一种补充现有度量方式的量化指标 —— 群体韧性，更好地评估模型在特定攻击情境下的表现并提出了两种损失函数、三种新的攻击策略，证明了该指标对于区分对特定威胁模型的脆弱性有更好的效果，并提出了一种防御方法，可以将群体韧性提高 3.52 倍。

    Jun, 2023