Nov, 2023

半集中式网络上的通信高效联邦优化

PDF
TL;DR在大规模联邦和分散式学习中，沟通效率是最具挑战性的瓶颈之一。为了解决这个折衷问题，我们在半分散式通信协议下研究了通信效率，设计了一种适应于半分散式网络的通信高效算法 PISCO，并证明了 PISCO 在非凸问题上具有收敛速度和线性加速效果，强调了 PISCO 在通信效率、数据异质性和各种网络拓扑上的优越性。
large-scale federated learningdecentralized learningcommunication efficiencysemi-decentralized communication protocolpisco
发现论文，激发创造
  • 去中心化和随机优化的通讯高效算法

    本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法，以解决在去中心化优化中通讯瓶颈。

    Jan, 2017

  • 优化联邦学习在 6G 网络的计算和网络融合中的通信效率

    通过引导参与联邦学习的设备基于业务需求、资源负载、网络状况和设备的算术能力，计算和网络融合（CNC）可以提高联邦学习在复杂网络环境中的通信效率，并通过优化模型参数传输过程中的通信效率来解决复杂网络情况下的延迟分布和网络资源利用率的问题。

    Nov, 2023

  • 基于知识蒸馏的通信高效联邦学习 (FedKD)

    本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

    Aug, 2021

  • 具梯度跟踪和方差缩减的网络分布式优化通信效率提高

    本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

    Sep, 2019

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • FedDec：基于点对点协助的联邦学习

    这篇论文提出了一种名为 FedDec 的算法，通过在 FL 的本地梯度更新之间交错点对点通信和参数平均化的方式，利用跨代理通信来改善 FL 的性能，证明了该算法在数据异构性、设备部分参与和光滑且强凸成本的假设下收敛，并表明代理间通信图谱的谱会改善收敛。

    Jun, 2023

  • 零阶分布式在线优化通信效率高的算法、理论和应用

    本文提出了一种基于联邦学习模式下的多智能体最优化问题解决方案，运用受限的通信方式，实现了对多个目标的追踪，避免了碰撞发生，并在两个相关应用上进行了数量级和碰撞性能的分析。

    Jun, 2023

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 基于随机零阶优化的联邦学习通信高效实现

    本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

    Jan, 2022