本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
本研究探讨分布式鲁棒优化,提出了一种适用于一般光滑非凸损失的 DRO 算法,并将其与条件风险价值(CVaR)设置相结合,得到类似的收敛保证,经实验证明所提出算法的性能表现突出。
Oct, 2021
提出了一种名为 DORO 的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021
提供了一种自然的数据驱动方式,用于学习分布绝对稳健优化问题中定义的分布区间,证明该框架包括自适应正则化作为一个特殊案例,实证表明所提出的方法能够改进广泛应用的机器学习估计器。
May, 2017
该论文主要研究了分布鲁棒优化(Distributionally Robust Optimization,DRO)中的约束问题,针对非凸损失函数提出了一种随机算法并进行了性能分析,证明了该算法能够找到一个满足 ε- 稳定点,而且计算复杂度为 O (ε^(-3k_*-5)),此外,数值结果表明该方法优于现有方法。
Apr, 2024
本文提出通过有限和复合优化来提供可扩展的机器学习算法,用于训练鲁棒性强的模型,并展示本算法在超大数据集上学习鲁棒模型的有效性。
Mar, 2022
本文介绍了使用分布式鲁棒优化 (DRO) 解决交叉事实风险最小化 (CRM) 问题的想法,并证明了 DRO 是对策反决策的一种有原则的工具。我们提出了使用 Kullback-Leibler 马氏距离作为 CRM 中不确定性的代替方法,并基于这一方法提出了一种新的鲁棒对策反目标。通过实验证明,在实践中使用其他不确定性度量具有重要意义。
Jun, 2019
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
本文提出了一种新型的分布鲁棒优化模型 —— 似然鲁棒优化模型,以历史数据为依据,用置信区间代替概率分布,解决了当环境不确定且输入分布未知的决策问题,避免了以往过于谨慎的方法对真实分布的偏离和对输出的限制。
Jul, 2013
通过使用分布鲁棒优化 (DRO) 工具恢复中心极限定理提供的渐进统计保证,我们探究了在模糊概率分布下维持期望值约束的可行性。我们展示了使用实证定义的 Burg-entropy 散度球来构造 DRO 可以实现此类保证。
May, 2016