Sep, 2022

使用受限重球下降的通信高效 {联邦} 学习

PDF
TL;DR本文提出了基于 HB 平滑技术的 Censoring-based Heavy Ball (CHB) 算法，可以在保持线性收敛速度的同时最小化通信成本，可应用于分布式学习中。数值实验表明，相对于现有算法，CHB 在实现相同准确率时，可以显著减少通信次数。
distributed machine learningcommunication efficiencyheavy ball methodconvergence ratecommunication reduction
发现论文，激发创造
  • 高效的异构联邦学习与广义重力球动量

    以边缘设备为学习对象的联邦学习 (Federated Learning, FL) 是解决隐私限制场景下的分布式数据学习的最先进方法。本论文提出了 FedHBM 算法，通过引入新的动量泛化方法，有效解决 FL 中的统计异质性问题，无需增加通信开销，并在多个视觉和自然语言处理数据集上经过大量实验验证了该算法相对于其他方法在非独立同分布场景下的更好的模型质量和更快的收敛速度。

    Nov, 2023

  • 带噪标签的高效鲁棒联邦学习通信优化

    本文研究基于联邦学习的标签噪声问题，并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时，本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题，并在多个真实世界数据集上验证了其表现优于其他方法。

    Jun, 2022

  • 面向分布式特征的通信高效的协作学习框架

    提出一种协作学习框架，允许多方共同构建模型而不暴露其原始数据或模型参数，并通过 Federated Stochastic Block Coordinate Descent 算法来减少通信轮数，该方法在各种任务和数据集上得到了验证。

    Dec, 2019

  • 随机重球法加速 Gossip 算法

    本文示范了随机重球（SHB）方法是如何作为随机化闲话算法解决随机凸和非凸优化问题的。为此，我们专注于 SHB 的两种特殊情况：带动量的随机 Kaczmarz 方法及其块变体。在最近提出的随机化闲话算法设计和分析框架 [L Richtarik，2016] 的基础上，我们解释了所提出方法的分布式性质，并提出了用于解决平均一致性问题的新协议，其中在每个步骤中，网络的所有节点都更新其值，但只有其中的子集交换其私有值。我们还展示了在流行的无线传感器网络上运行我们协议的数字实验结果。

    Sep, 2018

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • 带噪声通信的鲁棒联邦学习

    本研究提出一种鲁棒的联邦学习方案，通过并行优化、正则化等方法减小噪声影响，并从理论角度分析了其收敛性和准确性改善，仿真实验进一步验证了该方案的有效性。

    Nov, 2019

  • 通过平衡通信折衷来实现快速联邦学习

    根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

    May, 2021

  • 面向通信高效的自适应梯度方法

    提出了一种适用于联邦学习的自适应梯度方法，该方法能够保证收敛和通信效率。

    Sep, 2021