AGRO: 鲁棒优化中易错群体的对抗性发现

Dec, 2022

AGRO: 鲁棒优化中易错群体的对抗性发现

AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization

Bhargavi Paranjape, Pradeep Dasigi, Vivek Srikumar, Luke Zettlemoyer, Hannaneh Hajishirzi

TL;DR通过对抗性组发现的传递稳健优化来提高模型性能，并发现导致模型错误的未研究的虚假相关性。

Abstract

Models trained via empirical risk minimization (ERM) are known to rely on spurious correlations between labels and task-independent input features, resulting in poor generalization to distributional shifts. Group distri

distributionally robust optimization adversarial group discovery spurious correlations worst-case loss model performance

发现论文，激发创造

专注于共同利益：团体分布稳健性的追求

本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

Oct, 2021

具有概率群的分布鲁棒优化

本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

Mar, 2023

研究分组分布鲁棒优化在深度不平衡学习中的应用：以二元表格数据分类为例

该研究探讨了使用一种替代学习目标，组分布式鲁棒优化（gDRO），来处理深度神经网络中的类别不平衡问题，对比了实验结果并发现在不平衡表格数据中表现优异。

Mar, 2023

针对最坏情况优化的锐度感知最小化

本文介绍了当前机器学习中最重要的问题是最差组别的性能和泛化性能的提高；介绍了目前已有的平均性能提高的思路和两个新思路 —— 分布式稳健优化和敏锐性感知最小化，但它们各有缺陷；而该研究提出了敏锐性感知的组分布稳健优化，可以在最差组别数据集上泛化能力更好，同时可以适应分布偏移。

Oct, 2022

DORO：分布式和异常值鲁棒优化

提出了一种名为 DORO 的分布与离群点鲁棒优化框架，其中核心在于改进的风险函数，可以解决分布变化和离群点的问题，从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。

Jun, 2021

基于极小极大博弈的 Q-Diversity 鲁棒优化模型

本研究旨在解决传统风险最小化（ERM）有偏学习的问题，通过提出基于参数化的 Q-Diversity 框架，利用交互训练模式和新型跨组混合策略实现了减小预定义组之间误差的作用，并通过实验结果验证其在文本分类任务中有效提高了最差情况下的准确性。

May, 2023

检测和应对分布偏移下的伪特征

本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

Jun, 2021

面向群体转移的分布式鲁棒神经网络：正则化对最坏情况泛化的重要性

本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。

Nov, 2019

排名与重新加权改善组分布鲁棒性

本文提出了一种基于 Discounted Cumulative Gain（DCG）评估模型质量的方法，并建议了 Discounted Rank Upweighting（DRU）训练方法以提高模型的品质，在实验中结果表明，这种基于组排名的训练方法能够选择和学习出对组分布性变化具有鲁棒性的模型。

May, 2023

利用神经特征获得增强的组鲁棒性

本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

Aug, 2022