Mar, 2024

简化版基于原始 - 对偶算法的分布鲁棒优化

PDF
TL;DR考虑给定一个闭合凸不确定性集合的罚函数分布鲁棒优化 (DRO) 问题，该问题涵盖了 $f$-DRO、Wasserstein-DRO 以及在实践中使用的谱 /$L$-risk 形式，我们提出了 Drago，这是一种基于随机原始对偶算法，能在强凸 - 强凹 DRO 问题上实现最先进的线性收敛率。该方法结合了随机化和循环成分以及小批量处理，能有效处理 DRO 中原始问题和对偶问题的独特的非对称性质。我们通过分类和回归的数值基准来支持我们的理论结果。
penalized distributionally robust optimization$f$-drowasserstein-drospectral/$l$-riskstochastic primal-dual algorithm
发现论文，激发创造
  • 具有偏差和方差减少的分布鲁棒优化

    使用分布稳健优化（DRO）问题中的谱风险不确定性集和 $f$- 散度惩罚，我们构建了一个包括常见风险敏感学习目标的模型。我们提出了 Prospect 算法，只需要调整一个学习率超参数，证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比，前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上，我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上，Prospect 算法的收敛速度可以比随机梯度和随机鞍点方法快 2-3 倍。

    Oct, 2023

  • 大规模非凸随机约束分布鲁棒优化

    该论文主要研究了分布鲁棒优化（Distributionally Robust Optimization，DRO）中的约束问题，针对非凸损失函数提出了一种随机算法并进行了性能分析，证明了该算法能够找到一个满足 ε- 稳定点，而且计算复杂度为 O (ε^(-3k_*-5))，此外，数值结果表明该方法优于现有方法。

    Apr, 2024

  • 非凸分布鲁棒优化：非渐近分析

    本研究探讨分布式鲁棒优化，提出了一种适用于一般光滑非凸损失的 DRO 算法，并将其与条件风险价值（CVaR）设置相结合，得到类似的收敛保证，经实验证明所提出算法的性能表现突出。

    Oct, 2021

  • 基于流量的分布鲁棒优化

    我们提出了一种计算效率高的框架，称为 FlowDRO，用于解决基于流的分布鲁棒优化（DRO）问题，该框架利用 Wasserstein 不确定性集，并要求最差情况分布（也称为最不利分布，LFD）连续，从而使该算法能够在具有更大样本量的问题中进行扩展，并为引入的鲁棒算法提供更好的泛化能力。

    Oct, 2023

  • 使用 Wasserstein 度量的分布鲁棒优化分解算法

    本文研究了基于 Wasserstein 距离的分布鲁棒优化问题，将其归约为半无限规划问题，并提供了求解非线性模型的交换算法和凸情况下基于分离预言的中心割面算法，通过对分布鲁棒广义 logistic 回归模型的数字实验表明，该算法无论是在预测精度上还是在标准误差方面都表现得更好。

    Apr, 2017

  • 分布鲁棒优化中第二玩家建模

    本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

    Mar, 2021

  • 具有样本大小无关性的随机约束 DRO

    本文提出并分析了一种基于随机算法的方法，用于解决 Kullback Leibler divergence 约束的 Distributionally Robust Optimization 问题，该方法适用于非凸和凸损失函数，并具有更高的竞争性和更实用的常数批量大小迭代复杂度。

    Oct, 2022

  • 平滑 f - 散度分布鲁棒性优化：指数速率效率和无复杂度校准

    数据驱动的优化中，基于最糟情况分析的分布式鲁棒优化可以实现对准确解性能的统计界限，该方法基于通过适当的距离优化的 KL - 发散度，并且相应的校准不需要任何复杂性信息。

    Jun, 2023

  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022