具有贝叶斯模糊集的分布鲁棒优化
本文介绍了使用分布式鲁棒优化(DRO)解决交叉事实风险最小化(CRM)问题的想法,并证明了DRO是对策反决策的一种有原则的工具。我们提出了使用Kullback-Leibler马氏距离作为CRM中不确定性的代替方法,并基于这一方法提出了一种新的鲁棒对策反目标。通过实验证明,在实践中使用其他不确定性度量具有重要意义。
Jun, 2019
本研究针对具有分布不确定性的贝叶斯积分优化问题使用分布鲁棒优化视角,提出了一种基于后验抽样的算法(DRBQO),旨在最大化最对抗分布下的预期目标,并通过贝叶斯遗憾度量其理论收敛性。我们在合成和真实世界问题中展示了我们提出的框架的实证有效性。
Jan, 2020
本文通过使用最大平均偏差(MMD)来度量分布转移,研究了分布鲁棒优化的问题,在零阶、有噪音的优化设置下,提出了一种新颖的分布鲁棒贝叶斯优化算法(DRBO)。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。
Feb, 2020
本文提出了一种基于神经生成模型的分布鲁棒优化(DRO)方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种KL约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
提出了一种名为DORO的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021
使用分布稳健优化(DRO)问题中的谱风险不确定性集和$f$-散度惩罚,我们构建了一个包括常见风险敏感学习目标的模型。我们提出了Prospect算法,只需要调整一个学习率超参数,证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比,前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上,我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上,Prospect算法的收敛速度可以比随机梯度和随机鞍点方法快2-3倍。
Oct, 2023
通过将贝叶斯优化方法与严格的风险控制程序相结合,我们寻找一种满足用户指定风险限制的配置,同时在其他冲突指标方面也具有有用性,并展示了在多种任务中的有效性。
Dec, 2023
通过将贝叶斯非参数理论和最近一些决策理论模型的平滑模糊厌恶偏好相结合,我们提出了一种新颖的鲁棒准则,并与标准的正则化经验风险最小化技术之间建立了新颖的联系,从而为优化过程提供了有利的有限样本和渐进统计保证。
Jan, 2024
该论文主要研究了分布鲁棒优化(Distributionally Robust Optimization,DRO)中的约束问题,针对非凸损失函数提出了一种随机算法并进行了性能分析,证明了该算法能够找到一个满足ε-稳定点,而且计算复杂度为O(ε^(-3k_*-5)),此外,数值结果表明该方法优于现有方法。
Apr, 2024
发展了可微分的分布鲁棒优化层,用于参数化二阶锥模糊集的混合整数分布鲁棒优化问题,并讨论其扩展到Wasserstein模糊集;通过处理决策的连续和离散部分,提出了新的双视图方法;以上下文分布鲁棒决策任务为应用,将可微分的分布鲁棒优化层应用于决策集中的学习,与预测集中方法进行了实验对比。
Jun, 2024