asynchronous sgd | BriefGPT

关键词asynchronous sgd

搜索结果 - 5

带有延迟的分布式随机梯度下降：基于随机延迟微分方程的框架
基于随机时滞微分方程（SDDE）和概率到达梯度泊松近似，提出了统一框架来分析和优化异步分布式随机梯度下降（ASGD）的收敛性，揭示了 ASGD 的阻尼系数、延迟统计特性和收敛条件，以及调度策略的优化。同时表明增加激活的工作人员数量并不一定加
PDF19 days ago
分散式 ASGD 的收敛分析
我们提供了分布式和异步随机梯度下降（DASGD）的收敛速度分析，并证明了它对于一系列条件是有效的。
PDF10 months ago
使用志愿计算类范式的分布式深度学习
利用异步 SGD 方法进行数据并行，利用可抢占式计算实例，设计了一种适用于志愿计算系统的分布式解决方案来进行深度学习训练，降低了 70-90% 的成本并提高了数据安全性。
PDF3 years ago
ICLR梯度滞后的间隔感知缓解
该研究提出了一种名为 Gap-Aware（GA）的新的异步 - 分布式方法，通过线性惩罚梯度滞后度量 Gap 并在大量工作者的情况下表现良好，即使在异步环境中应用 GA，动量仍然有益处。
PDF5 years ago
IJCAI分布式深度学习的同步异步随机梯度下降算法
本文提出了一种改进的异步 SGD 算法，通过梯度陈旧程度对学习速率进行调节，以提高其稳定性和收敛速度，在 CIFAR10 和 Imagenet 数据集上进行了实验验证，并证明了该算法的优越性。
PDF9 years ago