分布式学习中的通信延迟问题和异构的小批量大小对收敛速度的影响，通过引入权重学习及加权多数投票的 signSGD-FV 算法进行优化，该算法具有理论上的收敛保证并在异构小批量大小下表现出更快的收敛速度。

Mar, 2024

这篇论文研究了分布式学习方法在模型训练中的应用，针对通信延迟和收敛速度的问题提出了两种优化器：signSGD-MV 和 signSGD-FD，并通过实验结果验证了 signSGD-FD 在不同对抗攻击场景中相比传统算法具有更好的收敛速度。

Feb, 2024

signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优化方法对于通信效率和收敛速度的提高具有巨大潜力。

Feb, 2018

本研究提出一种基于梯度量化的差分隐私保护 Federated Learning 框架，旨在保障智能电表数据的隐私性及模型架构的安全性，有效防范 Byzantine 攻击，击败传统的 Fed-SGD 模型.

Sep, 2022

提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

Jul, 2021

本文介绍了一种基于符号的压缩方法，即 Stochastic Sign Descent with Momentum（SSDM）, 用于在分布式环境下解决符号 SGD 方法的收敛问题，同时可以保持 1 位压缩和小批量大小。

May, 2019

本文着重于边缘计算系统中的联邦学习及其参数优化方法，提出了一种参数化的通用联邦学习（GenQSGD）算法，并通过优化全局和本地迭代次数、小批量大小和步骤大小序列等算法参数，以最小化能量成本，并针对预设步长序列的应用优化全局和本地迭代次数、小批量大小和步骤大小序列。数值实验表明，该算法可以显著提高联邦学习的性能。

Nov, 2021

本文讨论了在联邦学习框架下，通过提出一种新的联邦马尔科夫链蒙特卡罗算法（Quantised Langevin Stochastic Dynamics），并结合梯度压缩和方差缩减技术，优化了性能。给出了该算法的收敛性保证并应用于多种贝叶斯联邦学习基准测试中。

Jun, 2021

本文介绍了 signSGD 方法及其收敛速率的改进，并引入了基于符号的随机方差缩减（SSVR）方法，通过引入方差缩减估计器来跟踪梯度并利用其符号进行更新；此外，还研究了分布式环境中的异构多数投票，引入了两种新算法以获得更好的收敛速率，通过数值实验验证了所提方法的有效性。

Jun, 2024

本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

Feb, 2020