Apr, 2023

基于随机游走随机 ADMM 的个性化联邦学习

PDF
TL;DR研究了在分布式数据和网络状况不确定的实际情况下，Federated Learning 的实现障碍，提出了一种基于 Random Walk SADMM 的新算法，将服务器移动至相邻客户端进行本地模型训练，通过硬不等式约束解决数据异质性，缩减通信成本，提高可扩展性。
federated learningdata heterogeneitymobilizing federated settingrandom walk sadmmcommunication costs
发现论文，激发创造
  • 利用无线信道进行可扩展和隐私保护的联邦学习

    通过模拟传输和交替方向乘法的方法（ADMM），在单个信道上利用无线通道波动和干扰来改善隐私、带宽效率和可伸缩性的可扩展联合学习机制，可实现收敛保证的隐私保护，同时提高收敛速度、可扩展性、通信带宽和能量效率。

    Jul, 2020

  • FedADMM: 适应系统异构性的强大联邦深度学习框架

    本文提出了一种新的 FedADMM 协议用于非凸目标函数下的联邦学习，利用双重变量解决统计异质性，该算法通过扩展 Lagrangian 以保持每轮相同的通信成本和推广 FedAvg/Prox。在真实数据集上的实验结果表明，FedADMM 在减少所需轮数的通信效率方面优于所有基线方法，尤其在大规模系统中其优势更为明显。

    Apr, 2022

  • FedADMM-InSa：一种联邦学习的非精确自适应 ADMM 方法

    通过设计 FedADMM-InSa 算法中的近似准则和自适应方案，本研究旨在解决联邦学习中性能恶化和参数调优的问题，实验证明该算法能够显著减少本地计算负载并加速学习过程。

    Feb, 2024

  • 移动性提高异步联邦学习的收敛性

    本文探讨了异步联邦学习中客户端个体任意通信模式对参数服务器的影响。我们提出了 FedMobile，这是一种利用移动联邦系统的便利性来提高学习性能的新型异步 FL 算法，并且验证了我们的理论发现。

    Jun, 2022

  • 基于随机逼近的联邦机器学习方法

    本论文研究了在随机逼近框架中的联邦学习（FL）。FL 是一种协作方式，可以在各个参与方或客户端之间训练神经网络模型，而不需要将它们的数据集中。每个客户端将在其相应数据上训练模型，并定期将权重发送至服务器进行聚合。服务器聚合这些权重，由客户端使用来重新初始化其神经网络并继续训练。该论文利用随机逼近迭代来更新客户端神经网络的权重，并展示了聚合权重跟踪自主 ODE。通过数值模拟并与 FedAvg 和 FedProx 等标准算法进行比较，观察到该算法具有鲁棒性，在客户端数据不完全相同时给出更可靠的权重估计。

    Feb, 2024

  • 基于 Moreau 信封的个性化联邦学习算法

    个性化联邦学习（PFL）是一种用于解决异构数据收敛性差的方法。本文提出了一种使用 Moreau 包络（FLAME）的交替方向乘子方法进行训练 PFL 模型的方法，它在梯度 Lipschitz 连续性相对较弱的假设下实现亚线性收敛率。此外，由于 ADMM 的无梯度特性，FLAME 无需超参数调整，尤其是在训练全局模型时避免调整学习率。另外，我们提出了一种偏倚的客户选择策略，以加速训练 PFL 模型的收敛。我们的理论分析证明了在客观和主观客户选择策略下的全局收敛性。实验结果证实，当在异构数据上进行训练时，FLAME 在模型性能方面优于最先进的方法。在通信效率方面，它相对于基准方法的平均加速比达到 3.75 倍。此外，实验结果验证了偏倚的客户选择策略加速个性化和全局模型的收敛。

    Nov, 2023

  • 异步无线联邦学习与概率客户端选择

    通过联邦学习解决异步模式下的执行阻塞问题，提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题，并通过实验验证了该方法的优越性。

    Nov, 2023

  • 无线通信与网络的去中心化学习

    本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

    Mar, 2015

  • FedADMM：一种允许部分参与的联合原始对偶算法

    该研究提出一种新的联邦学习算法 FedADMM，解决具有非光滑正则化器的非凸复合优化问题，以促进通信效率和数据隐私。作者证明了在一般的采样模型下，在不是所有客户端都能参与给定通信轮的情况下，FedADMM 会收敛。

    Mar, 2022

  • 基于连续优化的联邦贝叶斯网络结构学习

    本文提出一种基于联邦学习的方法，用于估计来自不同方的数据 横向分割后的 贝叶斯网络结构。该方法采用基于连续优化的分布式结构学习方法，使用多重乘法器的交替方向方法（ADMM），在优化过程中仅交换模型参数，实现了数据隐私的保护。实验结果表明，该方法在合成和实际数据集上的性能优于其他方法，特别是在客户端数量相对较多且每个客户端的样本量有限的情况下。

    Oct, 2021