- 超越吞吐量和压缩比：迈向梯度压缩的高端到端效益
梯度聚合、分布式机器学习、梯度压缩、评估方法和系统性能。
- CG-FedLLM：用于大规模语言模型的联邦微调中梯度压缩方法
本研究提出了一种创新方法来压缩梯度以提高大型语言模型联邦学习中的通信效率，通过在客户端增加编码器以获取压缩的梯度特征，以及在服务器端增加解码器来重构梯度。通过使用特征筛选和保护关键特征的方式，我们的方法降低了通信成本并提高了性能，在隐私保护 - 具有本地即时误差补偿的高效分布式学习
通过双向压缩和精心设计的补偿方法，本文提出了一种名为 LIEC-SGD 的优化算法，旨在减少分布式学习中沉重的通信开销，并在理论和实验上证明该算法在收敛速度和通信成本上优于现有方法。
- 在分布式学习中管理重尾梯度的改进量化策略
我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。
- 灵活通信实现不确定网络下的最优分布式学习
梯度压缩通过发送更少的值和对应的索引（通常通过 Allgather）来减轻分布式深度学习中昂贵的通信成本。本文提出了一种与 Allreduce 兼容的 Topk 压缩器，在某些网络配置中比 Allgather 表现更好。我们开发了一种灵活的 - DAGC：面向移动计算的分布式机器学习数据容量感知自适应稀疏梯度压缩
在移动环境中，分布式机器学习面临着严重的通信瓶颈问题。梯度压缩已成为解决此问题的有效方法，在带宽有限和流量计费等环境中可以提供显著的好处。然而，在非 IID 环境中，由于一种适用于所有数据的压缩方法，它们遭遇到严重的性能下降。为具有不同数据 - OSP：通过 2 阶段同步提高分布式模型训练效率
本研究旨在提出一种新的模型同步方法，名为 Overlapped Synchronization Parallel (OSP)，通过使用 2 级同步方法和基于局部梯度的参数校正 (LGP)，以达到有效的通信，避免丢失梯度导致的精度损失，并在测 - 分布式深度学习梯度压缩的评估与优化
本研究提出了一种名为 ACP-SGD 的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与 S-SGD 相比，优化后的 ACP-SGD 在减少压缩和通信开支的同时，能够实现相似的模型准确性。
- GraVAC：通信高效的分布式深度学习训练自适应压缩
本文介绍了 GraVAC，一种动态调整压缩因子的框架，用于在分布式数据并行训练中降低通信开销并提高训练速度。GraVAC 可以根据模型进展和梯度信息损失自适应地进行压缩，相较于静态压缩因子，可以将 ResNet101，VGG16 和 LST - ICLR通信高效的稀疏随机网络联邦学习
在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。
- ICML高效沟通的自适应联邦学习
本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。
- AAAI分布式优化的无偏单尺度和多尺度量化器
本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。
- 重新思考将梯度稀疏化作为总误差最小化问题
通过考虑整个训练过程的通信复杂度模型，使用硬阈值稀疏化进行梯度压缩可以比 Top-k 稀疏化更加高效地减少通信成本，特别是在大型深度神经网络上。
- 基于量化 Langevin 随机动力学的贝叶斯联邦学习
本文讨论了在联邦学习框架下，通过提出一种新的联邦马尔科夫链蒙特卡罗算法（Quantised Langevin Stochastic Dynamics），并结合梯度压缩和方差缩减技术，优化了性能。给出了该算法的收敛性保证并应用于多种贝叶斯联邦 - MM通过平衡通信折衷来实现快速联邦学习
根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。
- 关于异构数据分布式优化的通信压缩
本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效 - 工业物联网中基于通信效率高的设备联邦学习方法的时间序列深度异常检测
本文提出了一种基于联邦学习的通信高效设备协作深度异常检测框架，使用注意力机制的 CNN-LSTM 模型对工业物联网的时间序列数据进行准确探测，并使用基于 Top-k 选择的梯度压缩机制来提高通信效率。该框架可通过实验研究发现，准确及时检测异 - 压缩联邦学习：统一分析和精确保证
通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。
- 用于非凸联邦优化的随机梯度方法的统一分析
本文研究了 SGD 变体在平滑非凸情况下的表现，并提出了一种通用的假设模型来精确建模随机梯度的二阶矩，并给出了所有满足统一假设的方法的单一收敛分析。此外，作者提出了两种新的通用算法框架来处理分布式 / 联邦非凸优化问题，并说明这些方法均满足 - ICML分布式和联合优化中压缩梯度下降的加速
本文提出了第一种加速压缩梯度下降方法 (ACGD)，并在实验中证实了在分布式学习问题中，ACGD 具有实际优越性，并提出了分布式 ACGD 的变体。