asynchronous updates | BriefGPT

关键词asynchronous updates

搜索结果 - 7

自适应异步更新的容错分散式学习
研究提出了一种全分散的 DSGD-AAU 算法，通过自适应确定每个工作者与多少邻居工作者进行通信，实现了线性加速收敛，实验结果验证了理论结果。
PDFa year ago
个性化异步联合学习
在异步更新的条件下，我们研究了个性化联邦学习问题。我们考虑了两种基于优化的个性化框架，并通过去除同步通信的假设和扩展函数类来提高其可扩展性。我们的主要技术贡献是确定性地证明，对于平稳和非凸函数类，我们的方法可以收敛到一阶稳定点，同时实验证明
PDF2 years ago
带缓冲异步聚合的联邦学习中的无限梯度
本文通过移除梯度范数有界的假设，对异步联邦学习算法 FedBuff 进行了理论分析，研究了数据异构性、批次大小和延迟等因素对算法收敛速度的影响，从而提高跨设备联邦学习的可扩展性。
PDF2 years ago
KDD马尔可夫决策过程的几何策略迭代
探究了有限状态 - 动作折扣马尔可夫决策过程的价值函数多面体结构，并使用超平面排列表征了多面体的边界。提出了一种新的算法 Geometric Policy Iteration (GPI) 来解决折扣 MDPs，它使用单个状态的策略更新，以更
PDF2 years ago
PipeMare：异步管道并行 DNN 训练
该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为 PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在 Re
PDF5 years ago
ICMLZeno++: 强健完全异步的随机梯度下降算法
提出了 Zeno++，这是一种新的、强大的异步随机梯度下降算法，可容忍工作节点的拜占庭失败，相比之前的工作，Zeno++ 取消了一些对工作节点到服务器通信的不切实际限制，允许匿名工作节点的完全异步更新，任意陈旧的工作节点更新以及无限多的拜占
PDF5 years ago
CYCLADES：无冲突异步机器学习
CYCLADES 是一种在共享内存环境中并行化随机优化算法的通用框架，它是异步的，不需要内存锁定机制，并且由于其固有的无冲突性和高速缓存本地性，在足够稀疏的数据集上，我们的多核 CYCLADES 实现始终表现优于 HOGWILD！类型算法，
PDF8 years ago