本文介绍了当前机器学习中最重要的问题是最差组别的性能和泛化性能的提高；介绍了目前已有的平均性能提高的思路和两个新思路 —— 分布式稳健优化和敏锐性感知最小化，但它们各有缺陷；而该研究提出了敏锐性感知的组分布稳健优化，可以在最差组别数据集上泛化能力更好，同时可以适应分布偏移。

Oct, 2022

本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。

Nov, 2019

本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

Mar, 2022

我们研究了模型的锐度对其在领域转移中对数据变化的容忍度的影响，并提出基于锐度的领域外泛化界限，通过考虑鲁棒性，得出比非鲁棒性保证更紧的界限。

Mar, 2024

本文提出了一种基于新近估算定理的 WDRO（Wasserstein 分布鲁棒优化）最小化器，通过实现该最小化器及提供相应的风险一致性结果，发现该方法成功应用于本地扰动数据的 WDRO 推断，同时对噪声数据如图像分类数据集表现出鲁棒性优异的效果。

Jun, 2020

本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

Mar, 2021

本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

Oct, 2021

本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

Oct, 2018

本研究提出了一种基于多样高斯噪音的一致性正则化方法，来改进图像分类器在面临各种噪声干扰时的鲁棒性和准确性。经过多项测试，在各项图像分类基准测试中，本方法都显著地超越了当代各种先进方法，进一步提高鲁棒精度和不确定性校准。

Apr, 2021

本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

Jun, 2021