Oct, 2023

拜占庭强健学习的通信压缩：新的高效算法和改进的速率

PDF
TL;DR通过压缩和收敛速率，提出了两种新的拜占庭容错化方法，并证明了它们在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点；同时还开发了带有压缩和误差反馈的第一种拜占庭容错化方法，并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率，并通过数值实验证明了理论发现。
byzantine-robustcompressionconvergence rateheterogeneous casenumerical experiments
发现论文，激发创造
  • 具容错机制和高通信效率的分布式学习模型

    本篇论文介绍了一种分布式学习算法，通过采用压缩梯度和梯度阈值等方法，减少了拜占庭故障的影响，并提高了通信效率，以达到优化分布式机器学习的目的。

    Nov, 2019

  • 边缘拜占庭容错联邦学习

    本文研究边缘联邦学习中的随机凸和非凸优化问题，以解决处理重尾数据时现有算法的不足，并同时保持拜占庭鲁棒性，通信效率和最佳统计误差率。我们提出了两种算法，分别是具有拜占庭鲁棒性的分布式梯度下降算法，以及结合梯度压缩技术的通信开销较小的算法。理论分析表明，我们的算法在存在拜占庭设备的情况下实现了最优的统计误差率。最后，我们在合成和现实世界数据集上进行了广泛的实验，以验证算法的有效性。

    Mar, 2023

  • BROADCAST: 减少随机噪声和压缩噪声以增强通信效率的联邦学习

    本文探讨了在大规模联邦学习中由于通信过载而引起的压缩问题，提出了一种可减少噪声并提高拜占庭攻击鲁棒性的压缩梯度差分方法，并提供了理论证明和数值实验结果。

    Apr, 2021

  • 拜占庭容错分布式学习：追求最优的统计速率

    本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

    Mar, 2018

  • 分布式随机优化中的下限与通信压缩加速算法

    本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。

    May, 2023

  • 方差降低是拜占庭问题的解药：更好的收敛速率，较弱的假设条件，以及通信压缩作为锦上添花

    本研究提出了一种名为 Byx-VR-MARINA 的新的拜占庭容错方法，其中方差降低是更有效地对抗拜占庭工人的关键，而通信压缩是使过程更具通信效率的奖励。这项工作还对非凸和 Polyak-Lojasiewicz 损失函数的拜占庭容忍方法进行了理论上的收敛保证。

    Jun, 2022

  • 分布式牛顿法通信成本降低并抵抗拜占庭工人

    我们提出了一种分布式的二阶优化算法，该算法具有通信效率和对其工作机的拜占庭故障的强鲁棒性，并通过使用一种简单的基于阈值的规则来过滤工作机来进一步压缩本地信息，由此建立了改进的收敛保证.

    Jun, 2020

  • DASHA：分布式非凸优化，包含通信压缩，最优化 Oracle 复杂度，无须客户端同步

    我们开发和分析了 DASHA：一种新的非凸分布式优化问题方法，同时考虑了通信复杂度和理论 oracle。我们的新方法改善了以前的最先进的方法，特别是在有限和期望形式的本地函数的情况下。新的方法发送压缩向量，并且永远不会同步节点，这使得它们对联邦学习更加实用。我们还将结果扩展到满足 Polyak-Lojasiewicz 条件的情况。在分类和深度学习模型的培训实验中，实践证实了我们的理论。

    Feb, 2022

  • 从历史中学习的拜占庭鲁棒优化

    该论文研究了分布式和联邦学习中拜占庭容错性的问题，提出了两种新的稳健算法来解决已有算法的缺陷，并提供了代码解决方案。

    Dec, 2020

  • 具有随机梯度噪声独立学习误差的拜占庭鲁棒型分散式随机优化

    该研究探讨了分布式网络中拜占庭鲁棒随机优化问题，其中每个代理定期与其邻居通信以交换本地模型，然后通过随机梯度下降（SGD）更新其本地模型。通过引入两种方差减小方法（SAGA 和 LSVRG），该方法在消除了随机梯度噪声的负面影响后，实现了线性收敛速度和随机梯度噪声独立的学习误差，对基于总变异（TV）范数正则化和随机子梯度更新的方法具有最优的学习误差表现，并在广泛的拜占庭攻击实验中得到了验证。

    Aug, 2023