May, 2018

稀疏二进制压缩：实现最小通讯的分布式深度学习

PDF
TL;DR本文提出了一种基于稀疏二进制压缩（SBC）的通信框架，结合了通信延迟、梯度稀疏化和权重更新编码的方法来显著减少分布式训练的通信成本，并可以平衡梯度稀疏性和时间稀疏性以适应学习任务需求，实验表明在不明显降低正向和反向传递速度的情况下，基于 SBC 的框架可以将通信开销降至每个客户端 3.35 GB，这在使用更小的计算机网络时具有重要意义。
distributed trainingcommunication costsparse binary compressiongradient sparsificationneural networks
发现论文，激发创造
  • 深度梯度压缩：降低分布式训练的通信带宽

    本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

    Dec, 2017

  • 基于交替学习的稀疏语义视觉传输

    本文提出了 SparseSBC，它是一种用于视觉传输的基于深度神经网络的 SemCom 系统，通过交替学习编码和解码来解决信道中的非可微性问题，并且利用二进制量化模块在保持语义准确性的基础上生成稀疏的比特集。广泛的模拟结果验证了 SparseSBC 在不同信道条件下表现出高效和有效的传输性能，并超越了典型的 SemCom 解决方案。

    Jul, 2023

  • 任意通信压缩下的分散式深度学习

    该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。

    Jul, 2019

  • PowerGossip: 分散式深度學習中实用的低秩通信压缩

    介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

    Aug, 2020

  • 一位压缩感知的通信高效去中心化联邦学习

    本文提出了一种基于不精确的交替方向法方法的新算法，在分散节点之间训练共享模型的过程中实现了稀疏约束、通信效率和计算效率的改进。

    Aug, 2023

  • 通信高效的稀疏随机网络联邦学习

    在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。

    Sep, 2022

  • 超级神经元：基于 FFT 的梯度稀疏化在深度神经网络的分布式训练中的应用

    使用稀疏性和基于范围的浮点表示方法，本文提出了一种新的梯度压缩框架，该框架在不影响准确性和收敛速度的情况下，显著提高了最流行的神经网络在大规模 GPU 集群上的可扩展性。

    Nov, 2018

  • 分布式训练的通信压缩技术

    研究如何将通信压缩和分散化技术相结合，以提高分布式学习系统的鲁棒性。作者提出了一种压缩分散训练的框架，并且提出了两种不同的策略，称为外推压缩和差异压缩。通过分析和验证，该算法显著优于仅分散化和仅量化算法。

    Mar, 2018

  • 分布式训练系统中高效的基于统计的梯度压缩技术

    本文提出了一种使用稀疏诱导分布对数据进行压缩的算法（SIDCo），可以在降低模型质量和额外计算量的情况下，提高深度神经网络的分布式训练效率。在基准测试中，该算法相对于无压缩基线、Topk 和 DGC 压缩器，可以将训练时间提高最多 41.7％，7.6％和 1.9％。

    Jan, 2021

  • 分布式和联邦学习的最优梯度压缩

    通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

    Oct, 2020