分布式鲁棒学习

Sep, 2014

Distributed Robust Learning

Jiashi Feng, Huan Xu, Shie Mannor

TL;DR我们提出了一个分布式坚韧的学习框架，可以应用于大数据中存在的污染数据。在此框架中，我们将统计学习方法与分布式计算相结合，保证了基准鲁棒学习方法的鲁棒性，并且在计算节点上具有容错能力，可以允许计算节点的失效。我们详细分析了这种框架的鲁棒性能，并以分布式坚韧主成分分析和分布式坚韧回归为例，通过大规模模拟和预测图像标签的实验来展示了其效率和优越性。

Abstract

We propose a framework for distributed robust statistical learning on {\em big contaminated data}. The distributed robust learning (DRL) framework can reduce the computational time of traditional robust learning

distributed robust learning big contaminated data breakdown point principal component analysis regression

发现论文，激发创造

将未标记数据纳入分布鲁棒学习中

本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在 14 个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

Dec, 2019

基于多源数据的分布鲁棒机器学习

利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

Sep, 2023

单轨迹鲁棒分布式强化学习

提出了分布式鲁棒 Q 学习及其平均奖励变体，且在单轨迹训练的基础上，给出了渐近收敛保证和实验验证，证明其在扰动环境下的优越性。

Jan, 2023

拜占庭容错分布式学习：追求最优的统计速率

本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

Mar, 2018

分布鲁棒监督学习是否能提供稳健的分类器？

本文介绍了分布鲁棒监督学习（DRSL）的概念和其与 f - 散度的关系，DRSL 可以最小化对抗重加权训练损失来明确考虑最坏情况的分布移位，并在分类情景下进行了分析。研究发现 DRSL 恰好可以匹配给定的训练分布，提出了简单的 DRSL 以克服这种悲观主义，并且经验性地证明了其有效性。

Nov, 2016

分布鲁棒学习的无偏梯度估计

通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

Dec, 2020

基于组合优化的大规模分布式鲁棒模型学习

本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

Mar, 2022

通过分布式稳健优化实现统一性能学习模型

本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

Oct, 2018

分布鲁棒优化：一篇综述

本文概述了分布鲁棒优化（DRO）的主要概念和贡献，以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。

Aug, 2019

基于数据驱动的分布鲁棒优化最优成本选择

提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

May, 2017