May, 2024

不完善通信信道上的分散式联邦学习

PDF
TL;DR本研究分析了不完美通信渠道对分散式联邦学习（D-FL）的影响，并确定了每轮训练的最佳本地汇总次数，以适应网络拓扑和不完美通道。通过从需要完美通道和汇总的理想全局模型中推导出具有不完美通道的本地汇总 D-FL 模型的偏差，揭示了过多的本地汇总可能会积累通信错误并降低收敛性。本文还分析了基于该偏差的 D-FL 的收敛上限。通过最小化该上限，确定了在通道知识缺失的情况下平衡通信错误积累的最佳本地汇总次数。实验证实了我们的收敛分析，同时在两个广泛考虑的图像分类任务中确定了最佳的本地汇总次数。结果表明，在训练准确性方面，具有最佳本地汇总次数的 D-FL 可以比其潜在替代方案提高 10% 以上。
发现论文，激发创造
  • 受能量和延迟约束的自适应分散式联邦学习

    在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。

    Mar, 2024

  • 无线网络上资源受限去中心化联邦学习的性能分析

    通过比较数字和模拟传输过程，分析了资源受限分散式联邦学习在通信效率方面的性能，并讨论了通信条件下如何优化系统参数以提高性能。

    Aug, 2023

  • 带有错误通信链路的联邦学习

    本文考虑了在存在通信误差的联邦学习问题，将设备与中央节点 (CN) 之间的链接建模为一个数据包抹除信道，证明了在通信障碍存在的情况下，当 CN 从某个设备没有接收到最新数据时，利用过去的本地更新的 FL 算法与没有任何通信障碍的 FL 算法会收敛到相同的全局参数。此外，我们还提供了一些模拟结果来验证理论分析，同时表明在数据集均匀分布于设备的情况下，只使用最新更新并丢弃缺失更新的 FL 算法可能比使用过去本地更新的 FL 算法更快地收敛。

    Jan, 2022

  • 分散式联邦学习：平衡通讯与计算成本

    提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

    Jul, 2021

  • 通过平衡通信折衷来实现快速联邦学习

    根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

    May, 2021

  • 噪声通道上的联邦学习：收敛分析和设计示例

    本研究旨在回答联邦学习在上下行通信均存在错误的情况下，可以处理多少通信噪声，以及对学习性能的影响。通过将上行和下行噪声通道明确地纳入联邦学习管道中，提出了几种新的联邦学习收敛性分析。结果表明，为了保持与无通信错误的理想情况相同的收敛行为，需要控制直接模型传输的上行和下行信噪比，使其随通信轮数的指数 t 的平方数量级增长，但可以在模型差分传输中保持不变。这些理论结果的关键洞察力是 “低调飞行” 原则 - 随机梯度下降是一种内在的嘈杂过程，只要上行 / 下行通信噪声不占支配地位，就可以容忍它们。

    Jan, 2021

  • 基于无线 D2D 网络的分散联邦学习

    本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

    Feb, 2020

  • 关于不完美 CSI 下无线网络联邦学习的收敛时间

    本文提出了一种训练过程，利用频道统计信息作为偏差来减小联邦机器学习模型的收敛时间，并通过数值实验证明可以通过忽略不能维持最小预定传输速率的客户端的模型更新来减少训练时间，同时研究参与训练的客户端数量与模型精度之间的权衡关系。

    Apr, 2021

  • 异构去中心化联邦学习下的拓扑学习及不可靠的 D2D 网络

    在无线设备到设备（D2D）网络中，去中心化联邦学习（DFL）作为智能移动设备普及的产物引起了极大的兴趣。DFL 相对于集中式联邦学习（CFL）降低了由于通信瓶颈而导致的中央服务器故障的风险。然而，DFL 面临着许多挑战，如多样环境中数据分布的严重异质性，以及 D2D 网络中采用用户数据报协议（UDP）导致的传输中断和包错误等。为了解决这些挑战，我们对 DFL 进行了全面的理论收敛性分析，并推导出一个收敛限。在该收敛限中，我们定义了一种称为不可靠链路感知邻域差异的新颖量，并制定了一个可解的优化目标，开发了一种考虑 DFL 中表示差异和不可靠链路的拓扑学习方法，命名为 ToLRDUL。在特征偏斜和标签偏斜的情况下进行了大量实验验证了我们提出方法的有效性，实验结果与我们的理论发现相一致，显示出了提高收敛速度和测试精度。

    Dec, 2023

  • 联邦学习：你可能不必频繁通信！

    本文研究了联邦学习模型的泛化误差，通过 PAC-Bayes 和速率失真理论对其进行了分析，发现在联邦学习中客户端和参数服务器通信的轮数会影响泛化误差，并且在应用于 FSVM 时，泛化误差随着轮数增加而增加，因此需要优化轮数以减小 FL 算法的总体风险。

    Jun, 2023