Feb, 2022

分布偏移下鲁棒机器学习的最小化遗憾优化

PDF
TL;DR该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法，该方法不一定能够保证在全部情况下达到一致的低回归值，提出了一种替代方法 Minimax Regret Optimization（MRO），在适当的条件下，该方法可以在全部测试分布下达到一致地低回归值，尤其是在测试分布与训练数据相似性较低的情况下，MRO 可以作为处理分布偏移的有效方法。
distribution shiftregret boundsdistributionally robust optimizationminimax regret optimizationrobust machine learning
发现论文，激发创造
  • 分布鲁棒优化中第二玩家建模

    本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

    Mar, 2021

  • 分布鲁棒贝叶斯优化

    本文通过使用最大平均偏差（MMD）来度量分布转移，研究了分布鲁棒优化的问题，在零阶、有噪音的优化设置下，提出了一种新颖的分布鲁棒贝叶斯优化算法（DRBO）。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。

    Feb, 2020

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • DORO：分布式和异常值鲁棒优化

    提出了一种名为 DORO 的分布与离群点鲁棒优化框架，其中核心在于改进的风险函数，可以解决分布变化和离群点的问题，从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。

    Jun, 2021

  • 分布鲁棒优化：一篇综述

    本文概述了分布鲁棒优化（DRO）的主要概念和贡献，以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。

    Aug, 2019

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 非凸分布鲁棒优化：非渐近分析

    本研究探讨分布式鲁棒优化，提出了一种适用于一般光滑非凸损失的 DRO 算法，并将其与条件风险价值（CVaR）设置相结合，得到类似的收敛保证，经实验证明所提出算法的性能表现突出。

    Oct, 2021

  • 具原则的学习方法：带有局部扰动的 Wasserstein 分布鲁棒优化

    本文提出了一种基于新近估算定理的 WDRO（Wasserstein 分布鲁棒优化）最小化器，通过实现该最小化器及提供相应的风险一致性结果，发现该方法成功应用于本地扰动数据的 WDRO 推断，同时对噪声数据如图像分类数据集表现出鲁棒性优异的效果。

    Jun, 2020

  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 核方法中的分布鲁棒优化和泛化

    本文研究了使用最大均值差（MMD）来测量不确定性集合的 DRO，证明了 MMD DRO 与希尔伯特范数的正则化基本等价，并揭示了与统计学习中的经典结果的深刻联系，并且通过 DRO 证明了高斯核岭回归的广义上界，从而得出一种新的正则化方法。

    May, 2019