本文提出通过有限和复合优化来提供可扩展的机器学习算法,用于训练鲁棒性强的模型,并展示本算法在超大数据集上学习鲁棒模型的有效性。
Mar, 2022
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
本论文探讨的是使用组注释的数据进行分类模型训练的问题,提出了一个新的算法,旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究,证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时,论文也从理论上证明了所提出算法是一种下降方法,并且可以找到平稳点。
Oct, 2021
本研究探讨分布式鲁棒优化,提出了一种适用于一般光滑非凸损失的 DRO 算法,并将其与条件风险价值(CVaR)设置相结合,得到类似的收敛保证,经实验证明所提出算法的性能表现突出。
本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
该论文主要研究了分布鲁棒优化(Distributionally Robust Optimization,DRO)中的约束问题,针对非凸损失函数提出了一种随机算法并进行了性能分析,证明了该算法能够找到一个满足 ε- 稳定点,而且计算复杂度为 O (ε^(-3k_*-5)),此外,数值结果表明该方法优于现有方法。
Apr, 2024
该研究探讨了使用一种替代学习目标,组分布式鲁棒优化(gDRO),来处理深度神经网络中的类别不平衡问题,对比了实验结果并发现在不平衡表格数据中表现优异。
Mar, 2023
该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法,该方法不一定能够保证在全部情况下达到一致的低回归值,提出了一种替代方法 Minimax Regret Optimization(MRO),在适当的条件下,该方法可以在全部测试分布下达到一致地低回归值,尤其是在测试分布与训练数据相似性较低的情况下,MRO 可以作为处理分布偏移的有效方法。
Feb, 2022
本研究旨在解决传统风险最小化(ERM)有偏学习的问题,通过提出基于参数化的 Q-Diversity 框架,利用交互训练模式和新型跨组混合策略实现了减小预定义组之间误差的作用,并通过实验结果验证其在文本分类任务中有效提高了最差情况下的准确性。
May, 2023
本文研究了应用于解决路由问题的深度模型在训练时通常只考虑单个数据分布,导致它们的交叉分布泛化能力受到严重削弱,因此提出采用分组分布式鲁棒优化来解决该问题,并设计了基于卷积神经网络的模块,以便让深度模型学习更多节点之间的相关信息。实验结果表明,该方法能显著提高原始模型的交叉分布泛化性能。