local sgd | BriefGPT - AI 论文速递

关键词local sgd

搜索结果 - 18

分布式本地梯度方法的通信高效自适应批量大小策略
现代深度神经网络通常需要分布式训练以应对其巨大的规模，但当工作节点数量增加时，通过每次迭代梯度同步的数据并行小批量随机梯度方法中的通信开销成为主要瓶颈。本文引入了适应性批量大小策略，用于局部梯度方法，通过自适应地增加批量大小来减小小批量梯度
PDF12 days ago
基于间歇通信的分布异构学习中局部 SGD 的局限性与潜力
本文利用现有的一阶数据异质性假设，为本地 SGD 提供了新的下界，显示了这些假设不足以证明本地更新步骤的有效性。此外，在相同的假设下，我们证明了加速小批量 SGD 的极小 - 极大优化性质，完全解决了几个问题类的分布式优化。我们的结果强调了
PDFa month ago
我们能学习高效通信优化器吗？
通过学习优化器的方法，本研究证明了学习优化器在保持通信高效性的同时，能够明显优于本地 SGD 及其衍生变体，甚至在未见过的更大规模数据集、架构（如 ImageNet 和 ViTs）以及语言模型等方面具有推广性，从而展示了学习优化器改进通信高
PDF7 months ago
小批次随机梯度下降和局部随机梯度下降的稳定性与泛化能力
通过稳定性和泛化性分析研究了小批量随机梯度下降和本地随机梯度下降的学习能力，从而证明它们可以实现线性加速度以达到最佳风险界限。
PDF9 months ago
ICLR本地 SGD 何时、为何比 SGD 泛化性更好？
本文基于随机微分方程（SDE）模型解释了为什么（和何时）局部 SGD 具有更好的泛化性能，并证实具有较小的学习率和足够长的训练时间是取得泛化性能提升的必要条件。
PDFa year ago
ICLR小批量 SGD 与局部 SGD 洗牌：紧密收敛界与进一步研究
研究分布式学习中的本地 SGD 和基于随机梯度的优化方法，通过随机梯度下降的方案，降低了随机抽样带来的估计偏差和方差，提高了模型的训练效率，实验表明，该方案的效果比替代方案更好。
PDF3 years ago
FedCM: 客户级动量的联邦学习
本文提出了一种名为 FedCM 的新型联邦平均算法，用于解决现实世界联邦学习应用中的部分参与和客户异质性问题。它在以前的通信轮次中聚合全局梯度信息，并修改客户端梯度下降，可以有效地纠正偏差并提高本地 SGD 的稳定性。作者提供了理论分析和广
PDF3 years ago
局部随机梯度下降上升：收敛分析与通信效率
本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。
PDF3 years ago
减少异质性的联邦学习中的偏差 - 方差减小的局部 SGD
本文介绍了一种新型的本地算法 BVR-L-SGD，用于非凸分布式优化，它基于小二阶异质性的本地目标，建议在同步工作时随机选择本地模型之一而不是取其平均值，并在理论上证明了 BVR-L-SGD 在小异质性的本地目标下比以前的非本地和本地方法都
PDF3 years ago
局部 SGD：统一理论和新高效方法
该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强
PDF4 years ago
AAAISTL-SGD：针对阶段通信周期的本地 SGD 加速
本文提出了一种称为 STL-SGD 算法的分布式机器学习算法，通过逐渐增加通信周期来降低通信复杂度并加速收敛速度，证明其具有与 mini-batch SGD 相同的收敛速度和线性加速，且在强凸或满足 Polyak-Lijasiewicz 条
PDF4 years ago
异构分布式学习中的小批量对比本地 SGD
本文研究异构分布共享的随机梯度下降优化问题，通过对比 Local SGD 和 Minibatch SGD，得到加速的 Minibatch SGD 是解决高异质性问题的最优方法，并提出了第一个比 Minibatch SGD 更好的 Local
PDF4 years ago
基于工作者数量的通信开销仅受限于本地化随机梯度下降
本文探讨了同时跨越多个工作者并进行随机梯度下降（SGD）来加速 SGD 的方法。通过对 Local SGD 的新分析，本文证明当机器在通信变现之间进行多个本地步骤时，Local SGD 方法可以实现错误按照 $1/（nT）$ 的比例缩放，只
PDF4 years ago
局部 SGD 比小批量 SGD 更好吗？
本文研究了局部 SGD（也称为并行 SGD 和联邦平均），一个自然且常用的随机分布式优化方法。在凸设置中，我们证明了局部 SGD 严格优于小批量 SGD，并且加速局部 SGD 在凸二次目标上是最小极值最优的。同时，我们还提供了总体上至少有时
PDF4 years ago
降低通信复杂度的方差减少本地随机梯度下降
本论文提出了一种 Variance Reduced Local SGD 算法，通过消除工作人员之间的梯度方差依赖性，实现了更低的通信复杂性，以实现线性迭代加速，并在三个机器学习任务上得到了卓越的性能表现。
PDF5 years ago
MM周期平均的本地随机梯度下降：更紧密的分析和自适应同步
本文研究了一种名为 local distributed SGD 的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更
PDF5 years ago
相同和异构数据的本地随机梯度下降的更紧密理论
本文提出了一种新的 Local SGD 方法的分析方式，去掉了不必要的假设并详细阐述了同一和异构两种数据环境下的区别，对于这两种情况，我们提高了现有理论并提供了最优步长和最优本地迭代次数。我们的界限基于一种特定于不同数据的 Local SG
PDF5 years ago
ICLR本地 SGD 收敛快且通信量小
本论文证明了局部随机梯度下降算法在凸问题上能够以与小批量随机梯度下降算法相同的速率收敛，并且与工人数量和小批量大小呈线性加速关系，其中通信轮数可以减少长达 T ^ {1/2} 个因子。
PDF6 years ago