linear speedup | BriefGPT - AI 论文速递

关键词linear speedup

搜索结果 - 10

分布式 TD ($λ$) 的单次平均化方法在马尔可夫采样下应用
我们考虑一种分布式设置的强化学习，其中每个智能体都有相同的马尔可夫决策过程的副本，但是转移矩阵由每个智能体独立进行采样。我们表明在这个设置中，我们可以通过 ' 一次性平均 ' 的过程，使得 N 个智能体对策略进行 N 倍的速度加速，前提是目
PDF4 months ago
异步联邦学习中实现线性加速
我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 A
PDF5 months ago
联邦 Q-Learning：线性遗憾加速与低通信成本
在这篇论文中，我们考虑了联合强化学习用于表格式情节马尔可夫决策过程（MDP），在这种过程中，通过一个中央服务器的协调，多个代理协同探索环境并在不共享原始数据的情况下学习最优策略。我们提出了两种联合 Q 学习算法，分别称为 FedQ-Hoef
PDF6 months ago
FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速
我们提出了一种名为 FedLALR 的异构本地 AMSGrad 变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与
PDF10 months ago
流式数据上增量聚合梯度方法的线性加速
本论文研究了一种用于大规模分布式优化的增量聚合梯度（IAG）方法，证明了基于流式数据的随机变体的 IAG 方法在强凸优化情况下实现了线性加速，并且即使在数据样本在工作者之间分布不均匀的情况下，该方法仍可以保证达到最优解的期望平方距离以 O
PDF10 months ago
ICLR非独立同分布联邦学习中部分工作人员参与实现线性加速
本文研究证明了在非独立同分布数据集和部分工人参与的情况下，联邦学习中的联邦平均算法可以实现线性加速。此外，本文还发现，在联邦学习中的本地步骤可以帮助收敛，并且在完全工人参与的情况下，可以将本地步骤的最大次数提高到 $T/m$。
PDF3 years ago
ICML分布式非凸优化中通信高效动量随机梯度下降的线性加速分析
本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。
PDF5 years ago
ICML非凸优化的异步随机拟牛顿 MCMC 算法
本研究开发了一种适用于分布式和共享内存的异步并行随机 L-BFGS 算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。
PDF6 years ago
ICLR本地 SGD 收敛快且通信量小
本论文证明了局部随机梯度下降算法在凸问题上能够以与小批量随机梯度下降算法相同的速率收敛，并且与工人数量和小批量大小呈线性加速关系，其中通信轮数可以减少长达 T ^ {1/2} 个因子。
PDF6 years ago
非凸优化的异步并行随机梯度
本研究探讨了两种异步并行随机梯度下降的实现方式，并证明了它们的收敛率均为 O (1 / 根号 K)，且在工作者数受到限制的情况下可实现线性加速。
PDF9 years ago