May, 2023

排名与重新加权改善组分布鲁棒性

PDF
TL;DR本文提出了一种基于 Discounted Cumulative Gain（DCG）评估模型质量的方法，并建议了 Discounted Rank Upweighting（DRU）训练方法以提高模型的品质，在实验中结果表明，这种基于组排名的训练方法能够选择和学习出对组分布性变化具有鲁棒性的模型。
group robustnessdiscounted cumulative gaindiscounted rank upweightingsoft-minimax approachood performance
发现论文，激发创造
  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 基于重新加权的类内鲁棒优化的群体公平正则化

    提出一种融合分布式鲁棒优化（DRO）框架和公平度量的基于迭代优化算法的方法，称为 FairDRO，通过自动产生正确的重新加权为每个组来最小化该方法，实验结果显示我们的方法在准确性公平交换上，相对于近期的强基线方法在多项基准数据集上表现出具有实现性和易适应性的状态表现。

    Mar, 2023

  • 通用重新加权为何不优于 ERM

    本文介绍了一种名为广义重加权算法（GRW）的类别，它通过迭代地重新加权训练样本来更新模型参数。我们发现在采用 GRW 算法的过拟合模型下，所得到的模型与采用 Empirical risk minimization 得到的模型非常相似。此外，在 GRW 算法不使用小规则化方法的情况下，得到的结果也是不尽如人意的，我们需要更多的探索与研究。

    Jan, 2022

  • 具有概率群的分布鲁棒优化

    本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

    Mar, 2023

  • 研究分组分布鲁棒优化在深度不平衡学习中的应用：以二元表格数据分类为例

    该研究探讨了使用一种替代学习目标，组分布式鲁棒优化（gDRO），来处理深度神经网络中的类别不平衡问题，对比了实验结果并发现在不平衡表格数据中表现优异。

    Mar, 2023

  • 基于极小极大博弈的 Q-Diversity 鲁棒优化模型

    本研究旨在解决传统风险最小化（ERM）有偏学习的问题，通过提出基于参数化的 Q-Diversity 框架，利用交互训练模式和新型跨组混合策略实现了减小预定义组之间误差的作用，并通过实验结果验证其在文本分类任务中有效提高了最差情况下的准确性。

    May, 2023

  • 只需要训练两次：在没有训练组信息的情况下提高团体鲁棒性

    本文提出了 JTT 这样一个简单的两阶段方法，利用加重权重的方式提高标准 ERM 模型对于性能低下群组的准确性，从而填补了标准 ERM 模型与 group DRO 之间最差群组准确性差距的 75％，并且只需要在小型验证集上标注群体注释以调整超参数。

    Jul, 2021

  • 利用神经特征获得增强的组鲁棒性

    本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

    Aug, 2022

  • 基于重复损失最小化的公平性无需人口统计信息

    通过采用分布式鲁棒优化的方法，我们可以在不考虑特定群体身份的情况下控制少数群体的风险水平，从而避免了现有的经验风险最小化方法在时间推移中导致的表征偏差加剧。在一个真实的文本自动完成任务中，这种方法提高了少数群体用户的满意度。

    Jun, 2018

  • AGRO: 鲁棒优化中易错群体的对抗性发现

    通过对抗性组发现的传递稳健优化来提高模型性能，并发现导致模型错误的未研究的虚假相关性。

    Dec, 2022