Sep, 2023

鲁棒分布式学习：数据异构下的紧密误差界和破坏点

PDF
TL;DR在实际场景中，数据的异质性通常是规范，传统的学习误差下界对于异质性数据是不准确的。本文通过引入更现实的异质性模型 (G,B)- 梯度差异性，展示了这一模型覆盖了比现有理论更广泛的学习问题，并且证明了分布式学习算法的学习误差存在下界。我们推导了一个强鲁棒的分布式梯度下降算法的上界，并且通过实证分析表明了我们提出的分析方法能够减小理论和实践之间的差距。
robust distributed learning algorithmsdata heterogeneityheterogeneity modellearning errordistributed gradient descent
发现论文，激发创造
  • 异构环境下的健壮联邦学习

    在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

    Jun, 2019

  • 拜占庭容错分布式学习：追求最优的统计速率

    本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

    Mar, 2018

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 基于间歇通信的分布异构学习中局部 SGD 的局限性与潜力

    本文利用现有的一阶数据异质性假设，为本地 SGD 提供了新的下界，显示了这些假设不足以证明本地更新步骤的有效性。此外，在相同的假设下，我们证明了加速小批量 SGD 的极小 - 极大优化性质，完全解决了几个问题类的分布式优化。我们的结果强调了需要更好的数据异质性模型，以了解本地 SGD 在实践中的有效性。为此，我们考虑了高阶平滑性和异质性假设，并提供了新的上界，暗示了当数据异质性较低时，本地 SGD 优于小批量 SGD。

    May, 2024

  • 面向数据异构性的分散式学习混合

    该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。

    Apr, 2022

  • 分布式学习下线性回归的泛化误差

    本研究针对分布式学习进行了线性回归分析，发现当节点估计未知数接近观测数时，与集中化解决方案相比，分布式解决方案的泛化误差大幅增加。

    Apr, 2020

  • 批量鲁棒学习的通用方法

    研究了在数据存在噪声和对抗性的情况下如何进行鲁棒学习，同时提出了有效的学习算法来解决分段区间分类和分布估计的问题。

    Feb, 2020

  • (几乎) 通过分歧差异证明分布偏移下的误差界

    本研究通过使用无标签测试数据来推导深度神经网络在分布转移下的误差（几乎）保证上界，并提出了一种理论上合理、在实践中表现更优的 “不一致损失” 用于评估误差保证上界的较紧估计。

    Jun, 2023

  • 分布式鲁棒学习

    我们提出了一个分布式坚韧的学习框架，可以应用于大数据中存在的污染数据。在此框架中，我们将统计学习方法与分布式计算相结合，保证了基准鲁棒学习方法的鲁棒性，并且在计算节点上具有容错能力，可以允许计算节点的失效。我们详细分析了这种框架的鲁棒性能，并以分布式坚韧主成分分析和分布式坚韧回归为例，通过大规模模拟和预测图像标签的实验来展示了其效率和优越性。

    Sep, 2014

  • 异方差分布上的神经主动学习

    本研究展示了在异方差分布上运行的主流主动学习技术的灾难性失败，并提出了一种基于微调的方法以缓解这些失败，同时结合模型差别评分函数提出了一个新的算法，在清除噪声示例的同时最大化准确性，表现优异于现有的主动学习技术。

    Nov, 2022