- 保持最优梯度稀疏化成本的可扩展分布式深度学习
ExDyna 是一种新颖的梯度稀疏化方案，通过将模型的梯度张量分为细粒度的块并将连续的块分组成不重叠的分区，实现了减少通信开销、平衡工作负载和在线阈值调整，从而提高分布式训练系统的可扩展性和稀疏化性能。
- RS-DGC: 通过探索邻域统计量对遥感影像解释的动态梯度压缩
近期，分布式深度学习在遥感应用中引起了更多的关注，其中梯度稀疏化被验证为一种有效压缩梯度的方法，以减少通信成本并加快训练速度。通过引入梯度邻域来增强梯度之间的相互依赖，并使用邻域统计指标（NSI）来定义梯度的重要性，我们提出了一种动态梯度压 - MiCRO：用于扩展和加速分布式 DNN 训练的几乎零成本梯度稀疏化
MiCRO 是一种新颖的梯度稀疏化方法，通过解决影响分布式深度神经网络训练可扩展性和加速度的问题，实现了接近零成本的梯度稀疏化，并具有出色的收敛速度。
- Transformer 屏蔽微调的梯度稀疏化
我们提出了 GradDrop 和其变体，一类梯度稀疏化方法，通过在反向传播过程中掩盖梯度作为梯度噪声来规范预训练语言模型，从而提高整体微调性能。在多语种 XGLUE 基准测试中的广泛实验表明，GradDrop 在中间预训练中使用额外翻译数据 - DEFT: 利用模型层之间的梯度范数差异实现可扩展梯度稀疏化
梯度稀疏化是减少分布式深度学习中过多通信流量的广泛采用解决方案，然而，大多数现有的梯度稀疏化方法由于梯度选择的计算成本较高和 / 或由于梯度累积导致的通信流量增加而具有相对较差的可扩展性。为了解决这些挑战，我们提出了一种新颖的梯度稀疏化方案 - 具有差分隐私的梯度稀疏化，实现高效的无线联合学习
通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。
- 超级计算环境中分布式深度学习的 Top-k 梯度稀疏化实证分析
该论文研究了使用 Top-k SGD 方法减少通信流量来提高深度学习模型在多 GPU 下的训练性能，但是因为在 GPU 上进行梯度排序效率低下，所以该方法具有局限性，提出未来工作的高性能梯度稀疏化方法。
- 基于梯度稀疏化的盲目联邦边缘学习中的最优 MIMO 组合
本文提出了一种优化接收组合策略的算法，用于多输入多输出系统中的联邦学习，该算法允许客户端执行个别梯度稀疏化以大大提高在具有异构（非 i.i.d.）训练数据场景下的性能，所提出的方法显著优于基准。
- MM分布式深度学习的近似最优稀疏全约简算法
本文提出了 O$k$-Top$k$ 的方案，将新型稀疏同时求和算法与去中心化并行随机梯度下降（SGD）optimizer 进行集成，达到与总结所有技术相当的模型精度，与优化密集型和最先进的稀疏同时求和相比，O$k$-Top$k$ 更具扩展性 - KDD阿里巴巴亿级分类训练系统
本研究探讨如何解决深度学习中因分类数目巨大而导致的内存、计算资源消耗问题，提出一种大规模训练系统，通过使用混合并行训练框架、KNN softmax、梯度稀疏化等新方法，大幅提高了训练速度与效率，并在实验中取得了高准确率。
- rTop-k：分布式 SGD 的统计估计方法
本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。
- 自适应梯度稀疏化用于高效联邦学习：一种在线学习方法
本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。
- 分布式深度学习中的层自适应梯度稀疏化及收敛性保证
本文提出了一种新的分布式优化方法 LAGS-SGD，它结合了 S-SGD 与一种新的 LAGS 方案，通过采用分层自适应梯度稀疏来减少通信负担，实现了通信和计算之间的重叠，同时保证了收敛性能。在 16-GPU 群集上的实验结果表明，LAGS - 跨異質蜂巢網絡的階層式聯邦學習
研究使用梯度稀疏化和周期性平均的分层联邦学习框架，来在异构蜂窝网络中实现协作机器学习任务。结果表明，该方案可以显着降低通信延迟且不会减少模型精度。
- NIPS稀疏梯度下降法的收敛性
本文研究了基于梯度稀疏化的分布式深度神经网络的训练方法，证明了在一定的解析条件下，采用基于梯度幅值优先选择梯度部分更新方法具有收敛性，并验证了该方法的有效性并探究了其收敛条件。
- 稀疏二进制压缩：实现最小通讯的分布式深度学习
本文提出了一种基于稀疏二进制压缩（SBC）的通信框架，结合了通信延迟、梯度稀疏化和权重更新编码的方法来显著减少分布式训练的通信成本，并可以平衡梯度稀疏性和时间稀疏性以适应学习任务需求，实验表明在不明显降低正向和反向传递速度的情况下，基于 S - 深度学习的训练简化与模型简化：一种最小化反向传播方法
该研究提出了一种基于梯度稀疏化和模型简化的技术来降低神经网络的训练和推断计算开销，并且在不降低模型准确率的情况下，实现了对模型的自适应简化，具有很高的应用价值。