BriefGPT.xyz
Jun, 2023
分散式 SGD 算法的稳定性和泛化分析改进
Improved Stability and Generalization Analysis of the Decentralized SGD Algorithm
HTML
PDF
Batiste Le Bars, Aurélien Bellet, Marc Tommasi
TL;DR
本文提出 Decentralized Stochastic Gradient Descent 算法的泛化误差分析，并据此证明在凸设置下，不论选择哪种通信图，D-SGD算法的泛化界限与经典SGD算法相同，即前人论述的通信图对泛化的不利影响并不成立。
Abstract
This paper presents a new
generalization error analysis
for the
decentralized stochastic gradient descent
(D-SGD) algorithm based on
algorithmic
→