Jun, 2024

压缩误差反馈实现高效垂直联邦学习

HTML
PDF
TL;DR提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了$\mathcal{O}(1/T)$的收敛速度，改善了垂直FL中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。
发现论文，激发创造
  • 非独立同分布数据上健壮且高效的联邦学习

    本研究提出了Sparse Ternary Compression (STC)，一种针对Federated Learning环境的新型压缩框架。实验表明，STC在常见Federated Learning场景下，即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低，也比Federated Averaging表现更佳。此外，即使客户端持有iid数据并使用中等大小的批次进行训练，STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了Federated Averaging。

    Mar, 2019

  • 一种用于通信高效分布式学习的更好的错误反馈替代方案

    本文提出了一种新的构造方法，可以将任何收缩压缩器转化为感应无偏压缩器，从而大大减少了内存要求，提高了通信复杂性保证和使用的方法，特别是在对合同收缩压缩器进行处理时，相对错误反馈（EF）有更好的理论和实践效果。

    Jun, 2020

  • 异构环境中双向压缩用于部分参与的分布式或联邦学习: 紧致的收敛保证

    本研究引入了一种名为阿尔忒弥斯的框架，旨在解决分布式或联邦学习中的通信限制和设备部分参与的问题。该框架可在双向压缩信息方面改善现有算法，并提供了快速收敛率和针对部分参与设备挑战的解决方案。

    Jun, 2020

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • 分布式和联邦学习的最优梯度压缩

    通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

    Oct, 2020

  • 联邦学习中压缩通信的最优速率调适

    本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

    Dec, 2021

  • 基于通信压缩的随机控制平均的联邦学习

    通过多样的虚拟学习方法，本文提出了对压缩联邦学习算法进行改进的方法，并验证了其在通信和计算复杂性方面的出色表现。

    Aug, 2023

  • 通过通信压缩的分布式随机梯度下降在异构联邦学习中逃离鞍点

    我们提出了一种名为Power-EF的算法，通过一种新颖的误差反馈方案，只传递经过压缩的信息，实现异构联邦学习中逃离鞍点的分布式和压缩的SGD算法，无需任何数据均匀性假设，并且在访问一阶（可能是鞍点）点之后，仅使用几乎与一阶收敛所需相同数量的梯度查询和通信轮次进一步提高到二阶稳定点，其收敛速度以工作器数量的线性加速度变化。

    Oct, 2023

  • 稀疏训练与正则化误差修正的联邦学习

    本文介绍了一种名为FLARE的新算法，通过对嵌入在FL过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的10倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。

    Dec, 2023

  • 带宽感知和重叠加权压缩用于通信高效的联邦学习

    本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下，导致的性能下降和延迟问题，提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码，显著提升了模型准确性，最大提升达13%，并加快了收敛速度，为未来的通信高效联邦学习研究奠定了基础。

    Aug, 2024