本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

Mar, 2022

本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

Oct, 2021

本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

Mar, 2023

本文研究了应用于解决路由问题的深度模型在训练时通常只考虑单个数据分布，导致它们的交叉分布泛化能力受到严重削弱，因此提出采用分组分布式鲁棒优化来解决该问题，并设计了基于卷积神经网络的模块，以便让深度模型学习更多节点之间的相关信息。实验结果表明，该方法能显著提高原始模型的交叉分布泛化性能。

Feb, 2022

本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

Mar, 2021

本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

Oct, 2018

本文发展了关于 Wasserstein DRO（分布鲁棒优化问题中的一种方法）变化规则的一般理论，它是一种新形式的正则化，可以处理可能不是凸的和不光滑的损失以及非欧几里得空间上的损失。通过应用我们理论中的变化规则，我们为对抗性鲁棒学习提供了新的泛化保证。

Dec, 2017

本文介绍了当前机器学习中最重要的问题是最差组别的性能和泛化性能的提高；介绍了目前已有的平均性能提高的思路和两个新思路 —— 分布式稳健优化和敏锐性感知最小化，但它们各有缺陷；而该研究提出了敏锐性感知的组分布稳健优化，可以在最差组别数据集上泛化能力更好，同时可以适应分布偏移。

Oct, 2022

提出了 SharpDRO 方法来解决分布稀疏和含有噪声的训练集，并考虑了最坏情况下的选择过程，理论上收敛并在三个数据集上实现了良好的性能。

Mar, 2023

该研究探讨了使用一种替代学习目标，组分布式鲁棒优化（gDRO），来处理深度神经网络中的类别不平衡问题，对比了实验结果并发现在不平衡表格数据中表现优异。

Mar, 2023