Oct, 2023

具有偏差和方差减少的分布鲁棒优化

PDF
TL;DR使用分布稳健优化（DRO）问题中的谱风险不确定性集和 $f$- 散度惩罚，我们构建了一个包括常见风险敏感学习目标的模型。我们提出了 Prospect 算法，只需要调整一个学习率超参数，证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比，前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上，我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上，Prospect 算法的收敛速度可以比随机梯度和随机鞍点方法快 2-3 倍。
distributionally robust optimizationspectral risk-based uncertainty setf-divergence penaltyprospect algorithmconvergence
发现论文，激发创造
  • 非凸分布鲁棒优化：非渐近分析

    本研究探讨分布式鲁棒优化，提出了一种适用于一般光滑非凸损失的 DRO 算法，并将其与条件风险价值（CVaR）设置相结合，得到类似的收敛保证，经实验证明所提出算法的性能表现突出。

    Oct, 2021

  • 简化版基于原始 - 对偶算法的分布鲁棒优化

    考虑给定一个闭合凸不确定性集合的罚函数分布鲁棒优化 (DRO) 问题，该问题涵盖了 $f$-DRO、Wasserstein-DRO 以及在实践中使用的谱 /$L$-risk 形式，我们提出了 Drago，这是一种基于随机原始对偶算法，能在强凸 - 强凹 DRO 问题上实现最先进的线性收敛率。该方法结合了随机化和循环成分以及小批量处理，能有效处理 DRO 中原始问题和对偶问题的独特的非对称性质。我们通过分类和回归的数值基准来支持我们的理论结果。

    Mar, 2024

  • 分布鲁棒优化的大规模方法

    该文主要研究了基于 CVaR 和 chi-squared 分布的鲁棒优化问题，并提出了一种新的算法以及相应的优化方案。研究结果表明，该算法不仅适用于大规模应用，而且在实验中的效率比全样本方法高 9~36 倍。

    Oct, 2020

  • 大规模非凸随机约束分布鲁棒优化

    该论文主要研究了分布鲁棒优化（Distributionally Robust Optimization，DRO）中的约束问题，针对非凸损失函数提出了一种随机算法并进行了性能分析，证明了该算法能够找到一个满足 ε- 稳定点，而且计算复杂度为 O (ε^(-3k_*-5))，此外，数值结果表明该方法优于现有方法。

    Apr, 2024

  • 平滑 f - 散度分布鲁棒性优化：指数速率效率和无复杂度校准

    数据驱动的优化中，基于最糟情况分析的分布式鲁棒优化可以实现对准确解性能的统计界限，该方法基于通过适当的距离优化的 KL - 发散度，并且相应的校准不需要任何复杂性信息。

    Jun, 2023

  • DORO：分布式和异常值鲁棒优化

    提出了一种名为 DORO 的分布与离群点鲁棒优化框架，其中核心在于改进的风险函数，可以解决分布变化和离群点的问题，从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。

    Jun, 2021

  • 分布鲁棒优化：一篇综述

    本文概述了分布鲁棒优化（DRO）的主要概念和贡献，以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。

    Aug, 2019

  • Wasserstein 分布稳健优化和变差正则化

    本文发展了关于 Wasserstein DRO（分布鲁棒优化问题中的一种方法）变化规则的一般理论，它是一种新形式的正则化，可以处理可能不是凸的和不光滑的损失以及非欧几里得空间上的损失。通过应用我们理论中的变化规则，我们为对抗性鲁棒学习提供了新的泛化保证。

    Dec, 2017

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017