Oct, 2023

联邦条件随机优化

PDF
TL;DR这篇论文提出了第一个联邦条件随机优化算法（FCSG），它使用条件随机梯度估计器和基于动量的算法（FCSG-M）来解决联邦学习中的非凸条件随机优化问题。通过方差减少设计了一种加速算法（Acc-FCSG-M），以达到最佳样本和通信复杂度， 并在不同任务上的广泛实验结果验证了这些算法的效率。
conditional stochastic optimizationfederated learningcommunication-efficient distributed optimization algorithmsconditional stochastic gradient estimatormomentum-based algorithm
发现论文，激发创造
  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019

  • 基于随机零阶优化的联邦学习通信高效实现

    本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

    Jan, 2022

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 解决联邦学习中一类非凸极小化最大化优化问题

    我们研究了一类联邦非凸极小极大优化问题，提出了 FL 算法，并减少了对最常见的极小极大问题的通信复杂度。

    Oct, 2023

  • 高效沟通的联邦非线性赌博机优化

    我们提出了一种名为 Fed-GO-UCB 的新算法，用于具有通用非线性目标函数的联邦赌博优化问题，通过严格证明，Fed-GO-UCB 能够以次线性速率实现累积遗憾和通信成本。

    Nov, 2023

  • 非凸紧凑平滑次流形上的异构数据联邦学习

    本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

    Jun, 2024

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 个性化联合学习：统一框架和普适的优化技术

    本文研究对个性化 Federated Learning 进行优化，提出了通用的优化器，应用于现有的针对个性化 Federated Learning 的目标函数，包括局部 SGD、加速坐标下降 / 加速 SVRCD 等，得到适用于文献中所有基于强凸个性化 FL 模型的普适优化理论，提高了通信效率和本地计算效率。

    Feb, 2021

  • 联邦优化：面向设备智能的分布式机器学习

    本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。

    Oct, 2016