Feb, 2021

面向通信效率的联邦学习中模型更新的自适应量化

PDF
TL;DR本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。 实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。
federated learninggradient quantizationcommunication efficiencyadaquantfldeep neural networks
发现论文，激发创造
  • DAdaQuant：用于通信高效联邦学习的双重自适应量化

    本研究介绍了一种动态自适应的量化算法 DAdaQuant，可以在保证模型质量的前提下提高 client 到 server 的压缩比例，比强非自适应基线算法提高多达 2.8 倍。

    Oct, 2021

  • FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

    通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

    Jun, 2024

  • 数据并行 SGD 的自适应梯度量化

    通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

    Oct, 2020

  • AQUILA：通信高效的自适应量化惰性聚合梯度的联邦学习

    AQUILA 是一种新的自适应框架，有效应对了联邦学习中的高通信开销、设备选择以及模型性能等问题。通过优化的设备选择方法和创新的量化准则，AQUILA 在各种非均匀的联邦学习设置下减少了通信成本，同时保持了可比较的模型性能。

    Aug, 2023

  • 具有误差反馈的量化 Adam

    本文提出一种分布式变体的自适应随机梯度方法用于训练深度神经网络，并通过梯度量化和权重量化等量化方案以及误差反馈技术来降低通信成本和量化误差，实现在随机非凸的场景下达到一阶稳定点，该方法在深度神经网络训练中取得了良好实验结果。

    Apr, 2020

  • 通信高效的剪辑均匀量化器用于联邦学习

    该论文介绍一种在联邦学习环境中使用剪辑均匀量化的方法，旨在通过减少通信开销而不降低准确性来提高模型效率。通过采用最优剪辑阈值和自适应量化方案，我们的方法显著减少了客户端和服务器之间模型权重传输的比特需求。通过在 MNIST 数据集上进行广泛的模拟实验，我们的结果表明，所提出的方法实现了近乎全精度的性能，同时确保了实质性的通信节省。具体来说，我们的方法通过基于量化误差的权重平均化实现了高效的权重平均化，有效平衡了通信效率和模型准确性的权衡。与传统的量化方法的比较分析进一步证实了我们的技术的优越性。

    May, 2024

  • 无线量化联邦学习：一种联合计算和通信设计

    本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

    Mar, 2022

  • 通过惰性聚合量化梯度进行高效的分布式学习通信

    本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。

    Sep, 2019

  • 量化全局模型更新的联邦学习

    本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

    Jun, 2020

  • 分布式全图 GNN 训练的自适应消息量化和并行化

    本文研究了分布式完全图训练的图神经网络（GNNs），提出了一种快速训练系统 AdaQP，并使用随机量化和通信计算并行化等技术来降低通信成本，实现了训练吞吐量的显著提升和误差微小的准确性改进。

    Jun, 2023