ICMLNov, 2016

分布鲁棒监督学习是否能提供稳健的分类器？

PDF
TL;DR本文介绍了分布鲁棒监督学习（DRSL）的概念和其与 f - 散度的关系，DRSL 可以最小化对抗重加权训练损失来明确考虑最坏情况的分布移位，并在分类情景下进行了分析。研究发现 DRSL 恰好可以匹配给定的训练分布，提出了简单的 DRSL 以克服这种悲观主义，并且经验性地证明了其有效性。
distributionally robust supervised learningf-divergencesworst-case distribution shiftclassification scenariorobust classifier
发现论文，激发创造
  • 方差减少的极大 - 极小优化算法实现快速分布式鲁棒学习

    本文提出了一种可扩展的、可实现的随机额外梯度算法，用于解决 Wasserstein DRSL 框架下的分类问题，该算法采用方差缩减和随机重排，可达到更快的收敛速率，并在合成和真实数据上证明了其有效性。

    Apr, 2021

  • 将未标记数据纳入分布鲁棒学习中

    本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在 14 个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

    Dec, 2019

  • 分布式鲁棒学习

    我们提出了一个分布式坚韧的学习框架，可以应用于大数据中存在的污染数据。在此框架中，我们将统计学习方法与分布式计算相结合，保证了基准鲁棒学习方法的鲁棒性，并且在计算节点上具有容错能力，可以允许计算节点的失效。我们详细分析了这种框架的鲁棒性能，并以分布式坚韧主成分分析和分布式坚韧回归为例，通过大规模模拟和预测图像标签的实验来展示了其效率和优越性。

    Sep, 2014

  • 基于多源数据的分布鲁棒机器学习

    利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

    Sep, 2023

  • 通过分布式鲁棒性优化应对标签漂移

    本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

    Oct, 2020

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 分布鲁棒学习的无偏梯度估计

    通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

    Dec, 2020

  • 基于学习的主动配电系统中分布鲁棒的安全过滤器

    通过使用分布式稳健安全过滤器，可以显著减少分布式系统训练期间深度强化学习代理与真实世界活动分发系统相互作用时的操作约束违规，同时保持接近最优解。

    Jul, 2023

  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022