Aug, 2023

一位压缩感知的通信高效去中心化联邦学习

PDF
TL;DR本文提出了一种基于不精确的交替方向法方法的新算法，在分散节点之间训练共享模型的过程中实现了稀疏约束、通信效率和计算效率的改进。
decentralized federated learninginexact alternating direction methodsparsity constraintcommunication efficiencycomputational efficiency
发现论文，激发创造
  • 分散式联邦学习：平衡通讯与计算成本

    提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

    Jul, 2021

  • 工业物联网中可靠的被动无线感知的压缩贝叶斯联邦学习

    采用通信高效的去中心化贝叶斯联邦学习策略，通过集成压缩策略和允许设备在发送本地后验分布之前执行多个优化步骤，以减少通信开销而不牺牲学习准确性和校准，得到与传统（未压缩）贝叶斯联邦学习工具相兼容且高度准确且良好校准的机器学习模型的工业物联网应用实例结果表明，该方法在校准方面具有优势，特别是在测试数据集的统计分布发生变化时。

    May, 2024

  • 基于条件稀疏到更稀疏方案的去中心化个性化联邦学习

    提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。

    Apr, 2024

  • FedComLoc: 通信高效的稀疏与量化模型的分布式训练

    我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

    Mar, 2024

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 基于无线设备间网络的联邦学习算法与收敛分析

    该研究探讨了基于设备对设备（D2D）网络的联邦学习，在分布式随机梯度下降算法实现中，利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进，并且在假设凸性和连通性的情况下提供了收敛性结果。

    Jan, 2021

  • 受能量和延迟约束的自适应分散式联邦学习

    在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。

    Mar, 2024

  • 基于压缩感知的海量 MIMO 通信系统联邦学习方法

    本文提出了一种基于压缩感知的联邦学习算法，通过传输策略构造稀疏的梯度向量信号，利用压缩感知算法迭代地求解线性最小均方误差 (LMMSE) 估计量。通过仿真实验，证明了该方法在无线设备通信系统中具有比传统线性波束赋形方法更好的性能，并减小了联邦学习和中央学习的性能差距。

    Mar, 2020

  • 一种基于区块链的带压缩通信的快速联邦学习框架

    本研究提出了一种快速、基于区块链的高效通信联邦学习框架，称为 BCFL，通过压缩通信实现了 95-98% 的通信流量减少和 90-95% 的训练时间缩短，同时导出了非凸损失的收敛速度和双凸优化问题以提高训练效果。

    Aug, 2022

  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

    Oct, 2023