鲁棒贝叶斯满足
该研究论文综合分析了 Robust Satisficing(RS)模型的理论性质,包括在不同应用中提供简化程序和鲁棒性广义化。通过与 Distributionally Robust Optimization(DRO)进行比较,RS 模型的理论性质更容易获得统计保证,同时还提供了两侧的置信区间和有限样本广义化误差界。该模型在小样本环境和分布转移情景下相对于基准经验风险最小化表现更好,并且比 DRO 模型对超参数调整更不敏感,突显了它在鲁棒性考虑中的实用性。
May, 2024
本文通过使用最大平均偏差(MMD)来度量分布转移,研究了分布鲁棒优化的问题,在零阶、有噪音的优化设置下,提出了一种新颖的分布鲁棒贝叶斯优化算法(DRBO)。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。
Feb, 2020
该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法,该方法不一定能够保证在全部情况下达到一致的低回归值,提出了一种替代方法 Minimax Regret Optimization(MRO),在适当的条件下,该方法可以在全部测试分布下达到一致地低回归值,尤其是在测试分布与训练数据相似性较低的情况下,MRO 可以作为处理分布偏移的有效方法。
Feb, 2022
本文研究随机程序的优化问题,其中决策者不能观察到外生不确定性的分布,但可以访问此分布的有限样本。作者提出了一种元优化问题来找到最不保守的预测器和处方器,以及遵守它们的样本外失望约束。利用大偏差理论的工具,作者证明了该元优化问题有唯一解。最佳预测器 - 处方器对可以通过在距离数据的经验分布一定的相对熵距离内的所有分布上求解一个分布的鲁棒优化问题来获得。
Apr, 2017
提供了一种自然的数据驱动方式,用于学习分布绝对稳健优化问题中定义的分布区间,证明该框架包括自适应正则化作为一个特殊案例,实证表明所提出的方法能够改进广泛应用的机器学习估计器。
May, 2017
本研究针对具有分布不确定性的贝叶斯积分优化问题使用分布鲁棒优化视角,提出了一种基于后验抽样的算法(DRBQO),旨在最大化最对抗分布下的预期目标,并通过贝叶斯遗憾度量其理论收敛性。我们在合成和真实世界问题中展示了我们提出的框架的实证有效性。
Jan, 2020
本研究针对时间敏感的黑盒优化问题,提出了满足条件的基于 Thompson 抽样的并行贝叶斯优化(STS-PBO)方法,引入了速率失真理论构建平衡学习所需信息量和次优性的损失函数,并采用 Blahut-Arimoto 算法在每一步计算达到最小信息速率的目标解,实验证明我们的 STS-PBO 方法在同步和异步设置中均优于串行方法和传统 Thompson 抽样的并行贝叶斯优化方法。
Oct, 2023
本文提出了一种新型的分布鲁棒优化模型 —— 似然鲁棒优化模型,以历史数据为依据,用置信区间代替概率分布,解决了当环境不确定且输入分布未知的决策问题,避免了以往过于谨慎的方法对真实分布的偏离和对输出的限制。
Jul, 2013
本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
本文研究了在不确定情况下基于一组概率分布找到表现良好解的分布鲁棒随机优化问题。在两部分中,分别考虑线性依赖和排序依赖的分布情况,提出了包含这些依赖项的新形式的双重优化。实验结果表明,新形式相对于传统的基于单侧矩阵的分布鲁棒随机优化有更好的性能。
Jan, 2017