可微分分布鲁棒优化层
本文研究了使用最大均值差(MMD)来测量不确定性集合的DRO,证明了MMD DRO与希尔伯特范数的正则化基本等价,并揭示了与统计学习中的经典结果的深刻联系,并且通过DRO证明了高斯核岭回归的广义上界,从而得出一种新的正则化方法。
May, 2019
本文提出了一种基于神经生成模型的分布鲁棒优化(DRO)方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种KL约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
本研究探讨分布式鲁棒优化,提出了一种适用于一般光滑非凸损失的 DRO 算法,并将其与条件风险价值(CVaR)设置相结合,得到类似的收敛保证,经实验证明所提出算法的性能表现突出。
Oct, 2021
使用分布稳健优化(DRO)问题中的谱风险不确定性集和$f$-散度惩罚,我们构建了一个包括常见风险敏感学习目标的模型。我们提出了Prospect算法,只需要调整一个学习率超参数,证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比,前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上,我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上,Prospect算法的收敛速度可以比随机梯度和随机鞍点方法快2-3倍。
Oct, 2023
将机器学习和优化整合到上下文优化领域以解决决策问题,通过结合不确定性量化与鲁棒优化提高高风险应用的安全性和可靠性,通过巧妙使用可微分的逻辑回归层在训练损失中计算覆盖质量,实现了高质量的条件覆盖,从而训练算法产生了优于传统估计和优化方法的决策。
Mar, 2024
该论文主要研究了分布鲁棒优化(Distributionally Robust Optimization,DRO)中的约束问题,针对非凸损失函数提出了一种随机算法并进行了性能分析,证明了该算法能够找到一个满足ε-稳定点,而且计算复杂度为O(ε^(-3k_*-5)),此外,数值结果表明该方法优于现有方法。
Apr, 2024
本研究针对不确定性决策中数据生成过程未知的问题,提出了具有贝叶斯模糊集的分布鲁棒优化方法(DRO-BAS),通过优化最坏情况风险来应对模型的不确定性。实验证明,该方法在许多指数家族成员中具有封闭形式的对偶表示,并在Newsvendor问题上展现了优于现有贝叶斯DRO方法的外样鲁棒性。
Sep, 2024