BriefGPT.xyz
Jun, 2022
拓扑感知的去中心化SGD的泛化
Topology-aware Generalization of Decentralized SGD
HTML
PDF
Tongtian Zhu, Fengxiang He, Lan Zhang, Zhengyang Niu, Mingli Song...
TL;DR
研究了分散随机梯度下降(D-SGD)算法的算法稳定性和分布特性,证明了D-SGD认为的共识模型具有稳定性,证明了D-SGD具有一般化的可行性。D-SGD的可行性与谱间隙呈正相关,并且可以解释为什么最初的培训阶段的共识控制可以确保更好的一般化,这是 vanilla-D-SGD 的拓扑感知广义性的第一个工作。
Abstract
This paper studies the
algorithmic stability
and
generalizability
of
decentralized stochastic gradient descent
(D-SGD). We prove that the
→