通过分布式稳健优化实现统一性能学习模型
提供了一种自然的数据驱动方式,用于学习分布绝对稳健优化问题中定义的分布区间,证明该框架包括自适应正则化作为一个特殊案例,实证表明所提出的方法能够改进广泛应用的机器学习估计器。
May, 2017
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
提出了一种名为 DORO 的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021
本论文探讨的是使用组注释的数据进行分类模型训练的问题,提出了一个新的算法,旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究,证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时,论文也从理论上证明了所提出算法是一种下降方法,并且可以找到平稳点。
Oct, 2021
本研究探讨分布式鲁棒优化,提出了一种适用于一般光滑非凸损失的 DRO 算法,并将其与条件风险价值(CVaR)设置相结合,得到类似的收敛保证,经实验证明所提出算法的性能表现突出。
Oct, 2021
该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法,该方法不一定能够保证在全部情况下达到一致的低回归值,提出了一种替代方法 Minimax Regret Optimization(MRO),在适当的条件下,该方法可以在全部测试分布下达到一致地低回归值,尤其是在测试分布与训练数据相似性较低的情况下,MRO 可以作为处理分布偏移的有效方法。
Feb, 2022
为了应对敏感机器学习应用中的不确定性建模需求,分布鲁棒优化(DRO)的设置在各种任务中寻求统一的良好性能。最近的多分布学习(MDL)框架以与环境的动态互动的方式解决了这一目标,在该框架中,学习者可以对每个目标分布进行采样访问。借鉴了纯探索多臂赌博机领域的观点,我们在 MDL 体制下提供了依赖于分布的保证,并且在与现有的分布无关分析相比,这种保证随着次优性差距的缩小而产生了优秀的样本大小依赖性。我们研究了两种非自适应策略:均匀探索和非均匀探索,并使用经验过程理论中的新工具提供了非渐进性后悔上界。此外,我们设计了一种自适应乐观算法 LCB-DR,展示了对差距的增强依赖性,类似于多臂赌博机文献中均匀分配和乐观分配之间的对比。
Dec, 2023
本文通过使用最大平均偏差(MMD)来度量分布转移,研究了分布鲁棒优化的问题,在零阶、有噪音的优化设置下,提出了一种新颖的分布鲁棒贝叶斯优化算法(DRBO)。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。
Feb, 2020