Jan, 2022

基于随机零阶优化的联邦学习通信高效实现

PDF
TL;DR本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。
federated learningoptimizationderivative-freepartial device participationover-the-air computation
发现论文，激发创造
  • 渲染有用的无线环境：一种零阶随机联邦学习方法

    利用通信高效的框架，我们提出了一种新颖的、基于零阶方法的联邦学习（ZOFL）框架，通过利用无线通信信道的特性，在学习算法本身中包含无线信道，而无需分析并消除其影响。

    Jan, 2024

  • 零阶分布式在线优化通信效率高的算法、理论和应用

    本文提出了一种基于联邦学习模式下的多智能体最优化问题解决方案，运用受限的通信方式，实现了对多个目标的追踪，避免了碰撞发生，并在两个相关应用上进行了数量级和碰撞性能的分析。

    Jun, 2023

  • 无线联邦学习与优化

    使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

    Oct, 2023

  • FedZeN：通过增量 Hessian 估计实现超线性零阶联邦学习

    本研究使用增量 Hessian 估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在 Stiefel 流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和 Hessian 估计器。我们对我们的算法进行了理论分析，命名为 FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。

    Sep, 2023

  • 使用轨迹信息的联邦式零阶优化

    基于轨迹信息的梯度替代物的联邦零阶优化算法 (FZooS) 通过减少函数查询次数和改进通信效率来提高联邦优化中的效果。

    Aug, 2023

  • 大型语言模型中零阶联邦调优的收敛性

    联邦学习和大型语言模型的交汇为隐私保护自然语言处理开启了新时代，提出了一种将内存高效的零阶优化与联邦设置相结合的方法 FedMeZO，以加快收敛速度和减少 GPU 内存使用。

    Feb, 2024

  • 物联网联邦学习的高效自适应联邦优化

    该论文提出了一种新的联邦学习算法（EAFO），通过联合考虑本地更新和参数压缩两个变量并使 FL 能够自适应调整这两个变量来提高其效率，以最小化学习误差，并实现计算，通信和精度之间的权衡，实验结果证明，与现有算法相比，EAFO 算法能够更快地实现更高的准确性。

    Jun, 2022

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019