本文研究了基于经验似然和分布鲁棒解的方法进行随机优化问题的统计推断,特别关注最优值的置信区间和渐近达到精确覆盖的解决方案。我们提出了一个基于非参数 $f$- 分歧球构建的分布不确定性集合的广义经验似然框架,用于 Hadamard 可微函数和随机优化问题,从而提供了一个有原则的选择分布不确定性区域大小的方法,以实现达到精确覆盖的单侧和双侧置信区间。我们还给出了我们分布鲁棒的公式的渐近展开,表明如何通过方差来规范化问题。最后,我们证明了,我们研究的分布鲁棒公式的优化器具有与经典样本平均逼近中的优化器基本相同的一致性属性。我们的一般方法适用于快速混合的平稳序列,包括几何上遗传的 Harris 递归马尔科夫链。
Oct, 2016
本文概述了分布鲁棒优化(DRO)的主要概念和贡献,以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。
Aug, 2019
提供了一种自然的数据驱动方式,用于学习分布绝对稳健优化问题中定义的分布区间,证明该框架包括自适应正则化作为一个特殊案例,实证表明所提出的方法能够改进广泛应用的机器学习估计器。
May, 2017
本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
本文研究随机程序的优化问题,其中决策者不能观察到外生不确定性的分布,但可以访问此分布的有限样本。作者提出了一种元优化问题来找到最不保守的预测器和处方器,以及遵守它们的样本外失望约束。利用大偏差理论的工具,作者证明了该元优化问题有唯一解。最佳预测器 - 处方器对可以通过在距离数据的经验分布一定的相对熵距离内的所有分布上求解一个分布的鲁棒优化问题来获得。
Apr, 2017
本文通过使用最大平均偏差(MMD)来度量分布转移,研究了分布鲁棒优化的问题,在零阶、有噪音的优化设置下,提出了一种新颖的分布鲁棒贝叶斯优化算法(DRBO)。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。
Feb, 2020
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
提出了一种新的统计假设检验方法来利用数据设计鲁棒优化的不确定集合,该方法灵活适用于各种领域,并且计算复杂度可行,理论和实践上都具有可靠性。操作研究领域的计算实验证明,当数据可用时,与传统的鲁棒优化技术相比,我们的数据驱动集合显著优于传统技术。
Dec, 2013
提出了一种名为 DORO 的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021
该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法,该方法不一定能够保证在全部情况下达到一致的低回归值,提出了一种替代方法 Minimax Regret Optimization(MRO),在适当的条件下,该方法可以在全部测试分布下达到一致地低回归值,尤其是在测试分布与训练数据相似性较低的情况下,MRO 可以作为处理分布偏移的有效方法。
Feb, 2022