方差减少的极大-极小优化算法实现快速分布式鲁棒学习
本论文基于Wasserstein空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的Wasserstein距离可以可靠地从未标记样本中估算。
May, 2017
本文发展了关于Wasserstein DRO（分布鲁棒优化问题中的一种方法）变化规则的一般理论，它是一种新形式的正则化，可以处理可能不是凸的和不光滑的损失以及非欧几里得空间上的损失。通过应用我们理论中的变化规则，我们为对抗性鲁棒学习提供了新的泛化保证。
Dec, 2017
本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
本文研究了使用最大均值差（MMD）来测量不确定性集合的DRO，证明了MMD DRO与希尔伯特范数的正则化基本等价，并揭示了与统计学习中的经典结果的深刻联系，并且通过DRO证明了高斯核岭回归的广义上界，从而得出一种新的正则化方法。
May, 2019
此论文介绍了基于Wasserstein分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。
Aug, 2019
本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在14个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。
Dec, 2019
通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。
Dec, 2020
本文提出了一种基于神经生成模型的分布鲁棒优化(DRO)方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种KL约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
使用分布稳健优化（DRO）问题中的谱风险不确定性集和$f$-散度惩罚，我们构建了一个包括常见风险敏感学习目标的模型。我们提出了Prospect算法，只需要调整一个学习率超参数，证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比，前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上，我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上，Prospect算法的收敛速度可以比随机梯度和随机鞍点方法快2-3倍。
Oct, 2023