Jul, 2020

FetchSGD: 基于草图技术的高效通信联邦学习算法

PDF
TL;DR本文介绍了一种名为 FetchSGD 的算法，该算法通过使用 Count Sketch 压缩模型更新，并利用 Sketch 合并性从众多工作者中组合模型更新来克服联合学习中的通信瓶颈和因稀疏客户参与而导致的收敛问题。我们证明了 FetchSGD 具有良好的收敛性能，并通过训练两个残差网络和一个 Transformer 模型来证明其实证效果。
federated learningcommunication bottleneckconvergence issuesfetchsgd algorithmcount sketch
发现论文，激发创造
  • 基于草图的高效分布式 SGD 算法

    本论文提出了一种名为 Sketched SGD 的算法，通过传递梯度草图而不是完整梯度来执行分布式 SGD，与其他梯度压缩方法相比，Sketched SGD 通过减少通信次数将通信成本降低了约 40 倍，同时不影响最终模型性能。

    Mar, 2019

  • 基于联合投票的 SignSGD

    分布式学习中的通信延迟问题和异构的小批量大小对收敛速度的影响，通过引入权重学习及加权多数投票的 signSGD-FV 算法进行优化，该算法具有理论上的收敛保证并在异构小批量大小下表现出更快的收敛速度。

    Mar, 2024

  • 在联邦学习中协调安全性和通信效率

    本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

    Jul, 2022

  • 使用联合防御的 SignSGD: 通过梯度标志解码来利用对抗性攻击

    这篇论文研究了分布式学习方法在模型训练中的应用，针对通信延迟和收敛速度的问题提出了两种优化器：signSGD-MV 和 signSGD-FD，并通过实验结果验证了 signSGD-FD 在不同对抗攻击场景中相比传统算法具有更好的收敛速度。

    Feb, 2024

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 分散式联邦学习：平衡通讯与计算成本

    提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

    Jul, 2021

  • 具有全局动量加速的通信高效联邦学习

    提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

    Jan, 2022

  • 超球量化：面向联邦学习的通信高效 SGD

    本篇研究使用超球量化算法解决联邦学习中的梯度通信效率问题，该算法提供了一种连续的折衷方案，可以在不影响梯度准确性的情况下减少通信成本。

    Nov, 2019

  • 具有误差反馈的通信高效分布式块动量 SGD

    提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

    May, 2019

  • 合作式 SGD: 通信高效 SGD 算法的设计与分析统一框架

    本文提出了一个统一的框架 —— 合作 SGD (Cooperative SGD)，它包含了现有的高效通信 SGD 算法，如周期平均、弹性平均和分散 SGD。通过分析 Cooperative SGD，我们为现有算法提供了新的收敛保证。此外，该框架使我们能够设计新的高效通信 SGD 算法，以在降低通信开销和实现低误差下的快速误差收敛之间取得最佳平衡。

    Aug, 2018