Feb, 2024

使用联合防御的 SignSGD: 通过梯度标志解码来利用对抗性攻击

PDF
TL;DR这篇论文研究了分布式学习方法在模型训练中的应用，针对通信延迟和收敛速度的问题提出了两种优化器：signSGD-MV 和 signSGD-FD，并通过实验结果验证了 signSGD-FD 在不同对抗攻击场景中相比传统算法具有更好的收敛速度。
distributed learningcommunication delayssignsgd-mvconvergence ratesignsgd-fd
发现论文，激发创造
  • 基于联合投票的 SignSGD

    分布式学习中的通信延迟问题和异构的小批量大小对收敛速度的影响，通过引入权重学习及加权多数投票的 signSGD-FV 算法进行优化，该算法具有理论上的收敛保证并在异构小批量大小下表现出更快的收敛速度。

    Mar, 2024

  • 具有理论保证的联邦学习随机符号 SGD

    本研究提出一种基于 SIGNSGD 的方法：Stochastic-Sign SGD，它利用新颖的随机符号梯度压缩器，在分布式学习中具有收敛性、通信效率、差分隐私以及拜占庭容错等特性，并在 MNIST 和 CIFAR-10 数据集下的深度神经网络上进行了广泛的实验验证。

    Feb, 2020

  • signSGD：非凸问题的压缩优化

    signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优化方法对于通信效率和收敛速度的提高具有巨大潜力。

    Feb, 2018

  • 随机符号下降方法：新算法和更好的理论

    本文介绍了一种基于符号的压缩方法，即 Stochastic Sign Descent with Momentum（SSDM）, 用于在分布式环境下解决符号 SGD 方法的收敛问题，同时可以保持 1 位压缩和小批量大小。

    May, 2019

  • 异构数据的分布式训练：连接中位数和基于平均值的算法

    本文研究介绍了两种分布式非凸优化算法：signSGD 和 medianSGD，并发现它们在数据异构的情况下是不收敛的。作者提出了一种梯度校正机制来消除梯度的平均值和中位数之间的差异，该方法保留了这些方法的良好性质，并实现了全局收敛。此外，该文中所提的梯度校正技术在其他估计平均值的场合也有独立的应用价值。

    Jun, 2019

  • 分布式学习中的选举编码：保护 SignSGD 免受拜占庭攻击

    本文提出了选举编码，一种编码理论框架，用于保证在 SignSGD 中的拜占庭容错能力，能够在两个方向上传输最小的工人 - 主节点通信，探索了在一些工人可能是恶意的情况下找到多数意见的新信息论极限，并提供了可以容忍 Byzantine 攻击的两种明确代码类型：随机 Bernoulli 代码和确定性的代数代码。

    Oct, 2019

  • 高效的基于符号的优化：通过方差减少加速收敛

    本文介绍了 signSGD 方法及其收敛速率的改进，并引入了基于符号的随机方差缩减（SSVR）方法，通过引入方差缩减估计器来跟踪梯度并利用其符号进行更新；此外，还研究了分布式环境中的异构多数投票，引入了两种新算法以获得更好的收敛速率，通过数值实验验证了所提方法的有效性。

    Jun, 2024

  • FetchSGD: 基于草图技术的高效通信联邦学习算法

    本文介绍了一种名为 FetchSGD 的算法，该算法通过使用 Count Sketch 压缩模型更新，并利用 Sketch 合并性从众多工作者中组合模型更新来克服联合学习中的通信瓶颈和因稀疏客户参与而导致的收敛问题。我们证明了 FetchSGD 具有良好的收敛性能，并通过训练两个残差网络和一个 Transformer 模型来证明其实证效果。

    Jul, 2020

  • 联邦学习中的搭便车现象：攻击与防御

    本篇论文探讨了联邦学习的自由骑手攻击问题，并提出了一种新的高维异常检测方法 STD-DAGMM 用于检测这种攻击。

    Nov, 2019

  • FedADC: 带漂移控制的加速联邦学习

    本文提出了一种新的联邦学习算法 FedADC，可以在分布式环境下加速核心算法 SGD 并控制数据漂移问题，同时不会增加计算和通信负载，并通过实验验证了其优越性。

    Dec, 2020