Jun, 2020
私有随机非凸优化:自适应算法和更紧的泛化界
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds
Yingxue Zhou, Xiangyi Chen, Mingyi Hong, Zhiwei Steven Wu, Arindam Banerjee
TL;DR研究不同 ially private (DP) 算法在随机非凸优化中的应用,通过提供对私有梯度法的分析,提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度,在两个流行的深度学习任务中,证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。