Mar, 2019

SLSGD: 安全高效的分布式设备端机器学习

PDF
TL;DR提出一种新的具有高效通信和攻击容忍度的分布式优化算法，可用于有限通信和安全要求下的分布式边缘学习，具有收敛性和鲁棒性，可稳定收敛并容忍数据中毒。
发现论文，激发创造
  • 一种稀疏差分高斯掩码分布式 SGD 方法：私密且通信高效的边缘学习

    本文提出了一种新的分散式隨機梯度方法，用於非凸分散式邊緣學習，以提高數據隱私和通信效率的性能指標。該方法在理論上確立了隱私性和通信效率的性能保證，實驗結果證明了該方法能夠兼顧兩者，是現有作品的優秀方法。

    Jan, 2020

  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 一种基于有效本地函数逼近的高效分布式学习算法

    本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

    Oct, 2013

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019

  • 分布式深度学习中的层自适应梯度稀疏化及收敛性保证

    本文提出了一种新的分布式优化方法 LAGS-SGD，它结合了 S-SGD 与一种新的 LAGS 方案，通过采用分层自适应梯度稀疏来减少通信负担，实现了通信和计算之间的重叠，同时保证了收敛性能。在 16-GPU 群集上的实验结果表明，LAGS-SGD 在不失精度的情况下优于原始的 S-SGD 和现有的稀疏 S-SGD。

    Nov, 2019

  • 强健且通信高效的协作学习

    本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

    Jul, 2019

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 通信高效的本地分散式 SGD 方法

    本研究提出了一种名为 LD-SGD 的算法，该算法结合了本地更新和分散式通信，提供了分析框架，并给出了收敛的充分条件。该框架为分散式优化设计了更新方案，并具有理论和实际的通信优化效果，从而在分散式设置中提高了通信效率。

    Oct, 2019