Jun, 2023

只需一个字节（每梯度）：关于使用共享随机性进行低带宽分散化语言模型微调的注记

PDF
TL;DR本研究提出了一种基于共享随机性的分布式微调方法，通过使用单字节的梯度交换，减少了通信成本，并保留了最近研究中的内存效率和推理优势。
发现论文，激发创造
  • 通信高效的稀疏随机网络联邦学习

    在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。

    Sep, 2022

  • 分布式梯度下降的稀疏通讯

    使用稀疏更新替代密集更新的分布式随机梯度下降法，在保持准确性不变的情况下，能够在 MNIST 数据集中实现最高 49% 的加速和在神经机器翻译任务中实现最高 22% 的加速。

    Apr, 2017

  • 边缘机器学习：基于分布式随机梯度下降的空中传输

    本研究在有限的功率和带宽条件下，探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习，提出了 D-DSGD 和 A-DSGD 两个方法，其中 A-DSGD 采用了一项新颖的模拟方案，比 D-DSGD 更快地收敛，并表现出更好的鲁棒性和可扩展性。

    Jan, 2019

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019

  • 个性化协作微调用于设备上的大型语言模型

    在设备上进行自我监督的合作微调大规模语言模型的研究，使用三种不同的信任加权梯度集成方案，并与 FedAvg 和本地微调方法相比，使用少量的数据交换和 LoRA 权重更新，显示出在本地数据分布不均的现实场景中处理异质性和稀缺性方面的有效性。

    Apr, 2024

  • 带记忆的稀疏化随机梯度下降

    对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

    Sep, 2018

  • 分布式优化的无偏单尺度和多尺度量化器

    本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

    Sep, 2021

  • 通过随机化实现少量 RAM 的大规模学习

    采用随机化分离技术，将权重向量投影到粗离散集上，从而将流行的大规模在线学习方法的内存占用量降低 50% 以上；采用随机计数可以实现每个坐标单独的学习速率，具有很好的内存性能表现。这些内存节省方法的效果与精确的变体相当，且实验证明这些方法在内存与精度的权衡方面具有出色的性能。

    Mar, 2013

  • 大规模神经网络训练中的高效通信

    本研究提出了一种名为 Linear Pipelining（LP）的新型集合操作技术，用于在神经网络的并行训练中降低通信成本。 对 BSP-SGD 等现有方法进行了改进，并在实践中证明该方法降低了通信瓶颈，同时保持 BSP-SGD 吸引人的收敛属性。

    Nov, 2016

  • 一种稀疏差分高斯掩码分布式 SGD 方法：私密且通信高效的边缘学习

    本文提出了一种新的分散式隨機梯度方法，用於非凸分散式邊緣學習，以提高數據隱私和通信效率的性能指標。該方法在理論上確立了隱私性和通信效率的性能保證，實驗結果證明了該方法能夠兼顧兩者，是現有作品的優秀方法。

    Jan, 2020