基于数据驱动的分布鲁棒优化最优成本选择
本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
本文提出一种基于 Wasserstein 的分布鲁棒性优化方法,旨在通过同时应用本地和全局正则化,将原始分布与最具挑战性的分布相结合,提高模型的建模能力,解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明,该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。
Mar, 2022
提出了一种名为 DORO 的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021
提出了一种基于数据驱动的分布式鲁棒优化和最优运输度量的半监督学习方法,通过使用未标记的数据来限制最坏情况分布的支持,从而提高一般化误差,并证明该方法能够改善一般化误差,具有重要的大样本行为,特别是在半监督学习中降维的作用。
Feb, 2017
本文研究了使用最大均值差(MMD)来测量不确定性集合的 DRO,证明了 MMD DRO 与希尔伯特范数的正则化基本等价,并揭示了与统计学习中的经典结果的深刻联系,并且通过 DRO 证明了高斯核岭回归的广义上界,从而得出一种新的正则化方法。
May, 2019
本文提出了一种新型的分布鲁棒优化模型 —— 似然鲁棒优化模型,以历史数据为依据,用置信区间代替概率分布,解决了当环境不确定且输入分布未知的决策问题,避免了以往过于谨慎的方法对真实分布的偏离和对输出的限制。
Jul, 2013
本文研究随机程序的优化问题,其中决策者不能观察到外生不确定性的分布,但可以访问此分布的有限样本。作者提出了一种元优化问题来找到最不保守的预测器和处方器,以及遵守它们的样本外失望约束。利用大偏差理论的工具,作者证明了该元优化问题有唯一解。最佳预测器 - 处方器对可以通过在距离数据的经验分布一定的相对熵距离内的所有分布上求解一个分布的鲁棒优化问题来获得。
Apr, 2017